pymongo invalidstringdata strings in documents must be valid utf-8

unicode gbk 转换 python

今天采集竞争对手的网站的时候，发现无法保存到MongoDB 中，报错是

pymongo invalidstringdata strings in documents must be valid utf-8

mongodb 保存必须是utf-8

首先查看字符串的编码格式

import chardet

print chardet.detect(title)

得到的编码

然后转码解码成utf-8
re.search('<title>(.*?)</title>',response.body,re.S).group(1).decode('gbk').encode('utf8')
完美解决

网站的维护离不开大家的支持鼓励，捐赠让我更有动力走的更远&& 也可以关注我的微信公众号,发布更多的干货