python爬取汽车之家_python爬⾍实战之爬取汽车之家⽹站上
的图⽚
随着⽣活⽔平的提⾼和快节奏⽣活的发展。汽车开始慢慢成为⼈们的必需品，浏览各种汽车⽹站便成为购买合适、喜欢车辆的前提。例如汽车之家⽹站中就有最新的报价和图⽚以及汽车的相关内容，是提供信息最快最全的中国汽车⽹站。本⽂介绍python爬⾍爬取汽车之家⽹站上的图⽚的思路和具体演⽰代码。
⼀、爬取汽车之家⽹站上的图⽚思路分析
1、分析页⾯，确认图⽚的url是否在⽹页源码。
2、确认是静态数据后，先到总的ul标签，在它⾥⾯的li标签，最后在img标签⾥⾯的src属性，即可获得想要的图⽚url地址。
3、通过切割图⽚url的⽅式获取图⽚名字。
4、完成图⽚命名后，使⽤os模块确定图⽚存放的路径。
⼆、爬取汽车之家⽹站上的图⽚具体代码# piplines管道代码ncap
from urllib import request
import os
class VehicleHomePipeline:
def process_item(self, item, spider):
pic_url = item['pic_url']
# 得到图⽚名字
pic_name = pic_url.split('__')[-1]  # 得到xxx.jpg
蒙迪欧致胜2014款
# os.path.dirname(__file__) 结果 D:\PycharmProjects\spider\day21\vehicle_home\vehicle_home\
# 创建图⽚存放路径 xxx\vehicle_home\result_pic
pic_path = os.path.join(os.path.dirname(__file__), 'result_pic')
# 下载图⽚ xxx\vehicle_home\result_pic\xxx.jpg
request.urlretrieve(pic_url, pic_path + '/' + pic_name)
return item
# 爬⾍代码奔驰怎么样
import scrapy
from day21.vehicle_home.vehicle_home.items import VehicleHomeItem
class VehPicSpider(scrapy.Spider):
name = 'veh_pic'
allowed_domains = ['car.autohome']
base_url = 'car.autohome/photolist/series/18/p{}/'
最新车辆购置税start_urls = [base_url.format(1)]
def parse(self, response):
# 获取图⽚标签列表
pic_lists = response.xpath('//ul[@id="imgList"]/li')
for pic in pic_lists:沈阳交通违章网>fisker
pic_url = pic.xpath('./a/img/@src').extract_first()
# 上述获取的url需要进⼀步补全
pic_url = response.urljoin(pic_url)
item = VehicleHomeItem()
item['pic_url'] = pic_url
print(item)
yield item
# 翻页逻辑
for page in range(2, 3):
next_url = self.base_url.format(page)
yield scrapy.Request(next_url)
以上就是python爬⾍爬取汽车之家⽹站上的图⽚的思路和具体演⽰代码，⼤家可以套⽤代码灵活使⽤哟~更多python爬⾍实战：python爬⾍实战教程。