python2
import urllib2
url = http://www.baidu.com/
request = urllib2.Request(url)
response = urllib2.urlopen(request)
print(response.read())python3
from urllib import request
url = http://www.baidu.com/
req = request.Request(url)
response = request.urlopen(req)
print(response.read().decode()我們開啟fiddler,運行完成代碼,然后在fiddler上面查看下我們的數據
很明顯就是python的版本,
因此我們在學習爬蟲的時候無論爬什么,代碼最好都要加上這個頭信息
下面我們在代碼上加入一個頭
from urllib import request
headers = {
User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64
}
url = http://www.baidu.com/
req = request.Request(url,headers=headers)
response = request.urlopen(req)
print(response.read().decode())抓包的結果如下:
更多關于云服務器，域名注冊，虛擬主機的問題，請訪問三五互聯官網：m.shinetop.cn