9某视频爬虫批量下载，你懂的

小老虎

链接地址：aHR0cDovL2YxMDIwLndvcmthcmVhNS5saXZlL3YucGhwP2NhdGVnb3J5PWhvdCZ2aWV3dHlwZT1iYXNpYyZwYWdlPQ==
测试过，可以批量下载！！需要挂Dai_Li
ffmpeg下载链接和M3U8下载器说明：https://github.com/hecoter/m3u8download_hecoter

1. """
   
2.         ************************************
   
3.           Description: 好东西，放在这里
   
4.           Author: @
   
5.           Github: [url=https://github.com/jianala]https://github.com/jianala[/url]
   
6.           Date: 2022-06-02 13:57:24
   
7.           FilePath:on_download.py
   
8.           LastEditors: @
   
9.           LastEditTime: 2022-06-02 15:17:53
   
10.           善始者实繁，克终者盖寡。
    
11. 
    
12.         ************************************
    
13. """
    
14. 
    
15. from lxml import etree
    
16. import re
    
17. import requests
    
18. import os
    
19. import urllib3
    
20. from m3u8download_hecoter import m3u8download
    
21. import base64
    
22. 
    
23. urllib3.disable_warnings()
    
24. 
    
25. 
    
26. #
    
27. # 是否配置代{过}{滤}理，国内访问速度较慢
    
28. def proxy_set():
    
29.     proxy_set = input('Do you want to use proxy?[y/n]')
    
30.     if proxy_set == 'y':
    
31.         global my_proxies
    
32.         proxies_set = input('input your proxy config ep:"127.0.0.1:7890"')
    
33.         my_proxies = {"http": "http://127.0.0.1:7890", "https": "https://127.0.0.1:7890"}
    
34.         if proxies_set != '':
    
35.             my_proxies['http'] = 'http://'+proxies_set
    
36.             my_proxies['https'] = 'https://'+proxies_set
    
37. 
    
38.     elif proxy_set == 'n':
    
39.         my_proxies = ''
    
40.     else:
    
41.         proxy_set()
    
42. 
    
43. def get_well(response):
    
44.     '''
    
45.     获取m3u8下载号码
    
46.     '''
    
47.     try:
    
48.         et = etree.HTML(response.text)
    
49.         well_list = et.xpath('//div[@class="thumb-overlay"]/@id')[:-1]
    
50.         well_title = et.xpath('//div[@class="thumb-overlay"]/../span/text()')[:-1]
    
51.     except:
    
52.         print('缺少参数')
    
53.     finally:   
    
54.         m3u8_list = [{'m3u8url':'https://la.killcovid2021.com/m3u8/{num}/{num}.m3u8'.format(num=re.findall('\d+',well_list)[0]),'title':well_title} for well_title,well_list in zip(well_title,well_list)]
    
55. 
    
56.     return m3u8_list
    
57. 
    
58. # 爬虫主体，flag为页码
    
59. def spider(flag):
    
60.     # 如果连接访问不了，在这里把base_url替换成你知道的标准地址
    
61.     page_url = b'aHR0cDovL2YxMDIwLndvcmthcmVhNS5saXZlL3YucGhwP2NhdGVnb3J5PWhvdCZ2aWV3dHlwZT1iYXNpYyZwYWdlPQ=='
    
62.     page_url = base64.b64decode(page_url).decode('utf-8')
    
63.     page_url = page_url+ str(flag)
    
64.     headers = {
    
65.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36Name',
    
66.         'Referer': 'http://91porn.com',
    
67.         'Accept-Language': 'zh-CN,zh;q=0.9'}
    
68.     get_page=requests.get(url=page_url, headers=headers)
    
69.     m3u8_list = get_well(get_page)
    
70.     dir_download = os.path.join(os.path.dirname(__file__),'_download')
    
71.     for m3u8 in m3u8_list:
    
72.         m3u8download(m3u8url=m3u8['m3u8url'],title = m3u8['title'],enable_del=True,proxies=my_proxies,work_dir=dir_download)
    
73. 
    
74. 
    
75. if __name__ == '__main__':
    
76.     proxy_set()
    
77.     for i in range(1,4):
    
78.         spider(i)

复制代码

特别注意的点有2个，第一个是m3u8download 源码没挂代{过}{滤}理，需要手动改一下，第二个urllib3的版本必须是urllib3==1.25.11

向往草原403

我看不错噢 谢谢楼主！知鸟论坛越来越好！

落败的青春阳落s

楼主太厉害了！楼主，I*老*虎*U！我觉得知鸟论坛真是个好地方！

dxf17

我看不错噢 谢谢楼主！知鸟论坛越来越好！

我是的十八簿

这东西我收了！谢谢楼主！知鸟论坛真好！

123456823

既然你诚信诚意的推荐了，那我就勉为其难的看看吧！知鸟论坛不走平凡路。

麻辣鸡翅

论坛不能没有像楼主这样的人才啊！我会一直支持知鸟论坛。

ffycxyw2274436

感谢楼主的无私分享！要想知鸟论坛好 就靠你我他

惜颜705

既然你诚信诚意的推荐了，那我就勉为其难的看看吧！知鸟论坛不走平凡路。

462710480

楼主，大恩不言谢了！知鸟论坛是最棒的！