昊天SEO

pymongo invalidstringdata strings in documents must be valid utf-8

unicode gbk 转换 python

unicode gbk 转换 python

今天采集竞争对手的网站的时候,发现无法保存到MongoDB 中,报错是

pymongo invalidstringdata strings in documents must be valid utf-8

mongodb 保存必须是utf-8

首先查看字符串的编码格式

import chardet

print chardet.detect(title)

得到的编码

然后转码解码成utf-8
re.search('<title>(.*?)</title>',response.body,re.S).group(1).decode('gbk').encode('utf8')
完美解决

 

本文地址官网    新乡网站建设,seo

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址