pymongo invalidstringdata strings in documents must be valid utf-8-昊天SEO

pymongo invalidstringdata strings in documents must be valid utf-8-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客

今天采集竞争对手的网站的时候，发现无法保存到MongoDB 中，报错是

pymongo invalidstringdata strings in documents must be valid utf-8

1	pymongo invalidstringdata strings in documents must be valid utf-8

mongodb 保存必须是utf-8

首先查看字符串的编码格式

import chardet

print chardet.detect(title)

得到的编码

然后转码解码成utf-8
re.search('<title>(.*?)</title>',response.body,re.S).group(1).decode('<span class='wp_keywordlink_affiliate'><a href="https://www.168seo.cn/tag/gbk" title="View all posts in gbk" target="_blank">gbk</a></span>').encode('utf8')
完美解决

import chardet

print chardet.detect(title)

得到的编码

然后转码解码成utf-8

re.search('<title>(.*?)</title>',response.body,re.S).group(1).decode('gbk').encode('utf8')

完美解决

HTTPX 基础教程-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客

pymongo invalidstringdata strings in documents must be valid utf-8

scrapy爬虫代理——利用crawlera神器，无需再寻找代理IP--转

最详细的网站改版SEO优化实操指南 | 如何让排名不降反升

发表评论点击这里取消回复。

pymongo invalidstringdata strings in documents must be valid utf-8

scrapy爬虫代理——利用crawlera神器，无需再寻找代理IP--转

最详细的网站改版SEO优化实操指南 | 如何让排名不降反升

猜你喜欢

Java 中 MongoDB 分页查询的总结_[转]12498158的技术博客_51CTO博客

百度输入法的词库 bdict 转 txt

Python 根据字符串调用本地函数

scrapy存储到MongoDB 如果存在则忽略不存在就插入

安卓 uiautomator设备测试 和选择器~Python详解

CentOS yum方式快速安装MongoDB3.4

发表评论 点击这里取消回复。

关注我们的公众号

安卓 uiautomator设备测试和选择器~Python详解

发表评论点击这里取消回复。