昊天SEO

pymongo invalidstringdata strings in documents must be valid utf-8

unicode gbk 转换 python

unicode gbk 转换 python

今天采集竞争对手的网站的时候,发现无法保存到MongoDB 中,报错是

pymongo invalidstringdata strings in documents must be valid utf-8

mongodb 保存必须是utf-8

首先查看字符串的编码格式

import chardet

print chardet.detect(title)

得到的编码

然后转码解码成utf-8
re.search('<title>(.*?)</title>',response.body,re.S).group(1).decode('gbk').encode('utf8')
完美解决

 

网站的维护离不开大家的支持鼓励,捐赠让我更有动力走的更远&& 也可以关注我的微信公众号,发布更多的干货
本文网址:https://www.168seo.cn/python/2891.html

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址