[Python] urlib2 設定 User-Agent (偶爾可解掉 urllib2.HTTPError: HTTP Error 403: Forbidden )

雖然造成 403: Forbidden 的因素有很多，但有一種是網站不想讓 crawler 抓資料，但 User-agent 設定完就能解掉，所以此例拿來記錄 urllib2 設定 User-Agent 的過程(盡量先不請 pycurl 出來 XD)。

原本用法：

obj = urllib2.urlopen('http://www.google.com/')

加入 User-Agent 用法：

obj = urllib2.urlopen( urllib2.Request( 'http://www.google.com/' , None , { 'User-Agent' : 'Mozilla/5.0' } ) )

另外紀錄一下 wget 用法：

$ wget -U 'Mozilla/5.0' http://www.google.com