1import requests
 2from bs4 import BeautifulSoup
 3 
 4#在python中函数的定义一定要早于调用。定义一个根据url获取页面内容的函数
 5def get_detials(link):
 6    #print(link)
 7    all_text = requests.get(link).text
 8    soup = BeautifulSoup(all_text,'lxml')
 9    #在浏览器F12的视图下，查看网易新闻主题位于class='post_text'的div下
10    #beautifulsoup的selecct筛选返回的是list串，soup.select("div>div[class='post_text']")[0]指取第一个串值
11    content = soup.select("div>div[class='post_text']")[0].get_text()   
12    print(content)
13    return content
14 
15 
16#url = 'https://www.163.com'
17url = 'http://tech.163.com/special/gd2016_02/'
18#不管用python爬取什么网页，先把url网址打开，按F12开启浏览器调试模式，根据目标页面的元素布局来匹配过滤条件
19wbdata = requests.get(url).text
20 
21#使用BeautifulSoup对request获取到的页面文本内容进行解析
22soup = BeautifulSoup(wbdata,'lxml')
23 
24#在soup结果中使用beautifulsoup的select筛选器进行内容筛选获得文章标题。
25#select筛选器介绍文末介绍，查找页面标签层级位于"li>div>h3>a"结构下的文本信息，返回list串
26news_titles = soup.select("li>div>h3>a")
27#print(news_titles)
28#获得url页面文章的新闻标题list
29 
30news_num = soup.select("li>div>p>a")
31#获得url页面文章的评论数list， 因为"li>div>p>a"这种结构能唯一定位到每个文章对应的评论数
32 
33#news_time = soup.select('li>div>p>span')
34#news_time = soup.select('li>div>p[class="sourceDate"]')
35news_time = soup.select("li>div>p[class='sourceDate']")
36#获得每篇文章的来源以及投递时间list。 这里的select筛选器使用了组合模式，限定了p标签的class=sourceDate的内容才保留
37#
38 
39#如果news_title bews_num news_time的筛选结果数量不一致可能是你的select筛选条件没限定好！
40 
41i = 0 #在下面的for循环中定位list串的偏移值，list串从0开始
42for n in news_titles:#循环新闻标题list，获得每个元素的内容n
43    #print(n)
44    # n的字符串内容形如： <a href="https://tech.163.com/20/0327/10/F8NGD2UA00097U7R.html">美国科技五巨头强势，美股大跌期间也比大盘跌得</a>
45    title = n.get_text() #get_text()获取n字符串标签内部的文本“美国科技五巨头强势，美股大跌期间也比大盘跌得”
46    # 
47    link = n.get("href") #get("href") 获取n字符串属性为href的值“https://tech.163.com/20/0327/10/F8NGD2UA00097U7R.html”
48    
49    num = news_num[i].get_text()
50    #获取news_num list串的第i个字符串对应标签内的文本。 news_titles news_num news_times 串是一一对应的（如果前面select筛选正确的话）
51    time = news_time[i].get_text()
52    data = {
53    '来源':time,
54    '标题':title,
55    '链接':link,
56    '评论':num
57    }
58    i=i+1;
59    #print('<beg===============================================beg>')
60    #print(data)
61    #get_detials(link)
62    #print('<end===============================================end>')
63 
64    #每次根据新闻列表的url访问新闻详情 并追加写入txt文件
65    with open('a.txt','ab')as f: #'w'表示写数据，写之前会清空文件中的原有数据！ 'a'表示追加写入不会清除之前的文件
66    #'b'表时读写的编码方式位bit位。  如果没有b参数就是str字符串方式
67     text = str(data) +"\n"+ get_detials(link)
68     text += "\n<end===============================================end>\n\n\n\n"
69     f.write(text.encode()) #因为使用open('a.txt','ab') 这里需要encode一下；如果读写文件的参数没有'b'这里则只需写f.write(text)
70     f.close()