最近有这样一个需求，需要抓在百度搜出来的各种网站，用urllib2获取的html页面各种乱码。

于是我便有2种解决方法。

1，自己写decode 和encode ，从response head里获取charset，然后用charset的编码 decode，然后encode成操作系统文件系统的编码（windows是gbk，linux是utf8），中间发现个库chardet[https://pypi.python.org/pypi/chardet]，貌似python3 已经里自带了，2里没有，可以很方便的检验字符的编码，对于一些获取charset为null可以用此判断。

2，更简单的方法，将获取的html（未知编码）直接交给beautifulsoup prettfy一下。

html =urllib2.urlopen(url).read()# use beautifulsoup 格式化soup = BeautifulSoup(html)# print 出想要的encodingprint(soup.prettify("gbk"))

 

然后顺便研究了下python的编码问题。

#话说python3的可以不用看下去了，python3和java差不多了，只有str和byte存在了。#repr将print python内部处理时的编码，由此可见python2，内部编码并不是unicode>>> unicode('我','utf8')u'\u6211'>>> repr('我')"'\\xe6\\x88\\x91'"# 同上>>> repr(u'\u6211'.encode('utf8'))"'\\xe6\\x88\\x91'">>> u'\u6211'.encode('utf8')#'\xe6\x88\x91'    >>> print u'\u6211'.encode('utf8')#我# 不管是gbk还是utf8编码的str他们的 unicode 相同>>> unicode('我','utf8')#u'\u6211'>>> unicode('我'.decode('utf8').encode('gbk'),'gbk')#u'\u6211'    #由此可见 一样的unicode 不同的encoding，其内置编码不同>>>s1 = '联系'>>>s2 = '联系'.decode('utf8').encode('gbk')>>>repr(s1)#'\xe8\x81\x94\xe7\xb3\xbb'>>>repr(s2)#'\xc1\xaa\xcf\xb5'