热门关键字:
公司相册
当前位置 : 首页 > 公司相册

如何采集阿里巴巴图片

来源:本站 作者: 时间:2018-12-28 14:33:30 点击:

  使用八爪鱼采集器,只需做好规则,即可全自动地将我们的想要的图片采集下来。主要经过两大步:先将图片URL采集下来;再通过八爪鱼提供的图片批量下载工具,将URL批量转化为图片。

  本文仅以采集阿里巴巴“衣服”商品列表页举例说明。在实际操作过程中,大家可根据需要,更换要采集列表的url。还可使用URL列表循环,批量采集多个商品列表页面的图片。

  1)系统自动打开网页,进入阿里巴巴“衣服”商品列表页。观察网页结构,当把页面下拉至底部的时候,会加载出一批新的数据,随着我们的下拉,页面会有新的数据加载出来。经过2次下拉加载,此页面达到最底部,出现“下一页”按钮。

  所以涉及Ajax下拉加载,需要对其进行一些高级选项的设置。点击右上角的“流程“按钮,选中左侧的“打开网页”,打开“高级选项”,勾选“页面加载完成后向下滚动”,设置滚动次数为“5次”,每次间隔“2秒”,滚动方式为“直接滚动到底部”,最后点击“确定”

  注意: 这里的滚动次数及间隔时间,需要针对网站情况进行设置,并不是绝对的。一般情况下,间隔时间网站加载时间即可。有时候网速较慢,网页加载很慢,还需根据具体情况进行调整。

  与“打开网页”类似,此步骤同样涉及Ajax下拉加载。点击左侧流程中的“点击翻页”,打开“高级选项”,勾选“页面加载完成后向下滚动”,设置滚动次数为“5次”,每次间隔“2秒”,滚动方式为“直接滚动到底部”,最后点击“确定”

  1)移动鼠标,选中页面里要采集的数据。下面选中的是图片,商品标题,选中后,系统会自动识别页面里的其他相似链接。在右侧操作提示框中,选择“选中全部”。

  4)接下来为将图片URL批量导出为图片做准备。点击“添加特殊字段”,选择“添加固定字段”,输入“E:\阿里巴巴图片采集\”,其中“E:\\”为图片存储盘,“阿里巴巴图片采集”为图片保存文件夹名

  注:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。

  采集完成后,会跳出提示,选择“导出数据”。选择“合适的导出方式”,将采集好微博发博数据导出,这里我们选择excel作为导出为格式,数据导出后如下图所示。

  经过如上操作,我们已经得到了要采集的图片的URL。接下来,再通过八爪鱼专用的图片批量下载工具,将采集到的图片URL中的图片,下载并保存到本地电脑中。

  1)下载八爪鱼图片批量下载工具,双击文件中的MyDownloader.app.exe文件,打开软件

  保存文件夹名:EXCEL中需要单独一个列,列出图片想要保存到文件夹的路径,可以设置不同图片存放至不同文件夹

  如果要把文件保存到文件夹,则路径需要以“\”结尾,例如:“D:\同步\”,如果要下载后按照指定的文件名保存,则需要包含具体的文件名,例如“D:\同步\1.jpg”

最新评论共有 0 位网友发表了评论
推荐文章