[原创]python 利用pandas 读取csv 导入mongodb数据库[数据处理]-昊天SEO

# coding:utf-8

import <span class='wp_keywordlink_affiliate'><a href="https://www.168seo.cn/tag/pandas" title="View all posts in pandas" target="_blank">pandas</a></span> as pd
import <span class='wp_keywordlink_affiliate'><a href="https://www.168seo.cn/tag/pymongo" title="View all posts in pymongo" target="_blank">pymongo</a></span>
from odo import odo
Client = <span class='wp_keywordlink_affiliate'><a href="https://www.168seo.cn/tag/pymongo" title="View all posts in pymongo" target="_blank">pymongo</a></span>.MongoClient(host='localhost',port=27017)
df =  pd.read_csv('User.csv',error_bad_lines=False)

#error_bad_lines: if False then any lines causing an error will be skipped bad lines

db = Client.weibo.repacleartuser

df.columns = df.columns.str.upper()

# columns 都转换成字符串,变成大写

df.rename(columns={ '邮箱是否激活':'邮箱激活', '手机是否激活': '手机激活'}, inplace=True)

# columns 名称替换

# df.rename(columns = {'$b':'B'}, inplace = True)

# http://www.cnblogs.com/hhh5460/p/5816774.html

# for index, row in df.iterrows():
#      print(row['ID'])
# Dataframe 进行循环


#     if isinstance(row['ID'],int):
#         print(row)
# isinstance 判断 row['ID']是不是int类型



newdf= df[['ID','用户名','邮箱','手机号','上次登录','登录次数','注册来源','注册IP','邮箱激活','手机激活','账户状态','系统时间']]

from time import time
b = time()
db.insert_many(newdf.to_dict('records')) 
# 插入数据
# 200万数据用时96.56582021713257秒

e = time()
print(e-b)

# coding:utf-8

import pandas as pd

import pymongo

from odo import odo

Client = pymongo.MongoClient(host='localhost',port=27017)

df = pd.read_csv('User.csv',error_bad_lines=False)

#error_bad_lines: if False then any lines causing an error will be skipped bad lines

db = Client.weibo.repacleartuser

df.columns = df.columns.str.upper()

# columns 都转换成字符串,变成大写

df.rename(columns={ '邮箱是否激活':'邮箱激活', '手机是否激活': '手机激活'}, inplace=True)

# columns 名称替换

# df.rename(columns = {'$b':'B'}, inplace = True)

# http://www.cnblogs.com/hhh5460/p/5816774.html

# for index, row in df.iterrows():

# print(row['ID'])

# Dataframe 进行循环

# if isinstance(row['ID'],int):

# print(row)

# isinstance 判断 row['ID']是不是int类型

newdf= df[['ID','用户名','邮箱','手机号','上次登录','登录次数','注册来源','注册IP','邮箱激活','手机激活','账户状态','系统时间']]

from time import time

b = time()

db.insert_many(newdf.to_dict('records'))

# 插入数据

# 200万数据用时96.56582021713257秒

e = time()

print(e-b)

HTTPX 基础教程-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客

[原创]python 利用pandas 读取csv 导入mongodb数据库[数据处理]

ImportError: cannot import name 'plot' mac/windows python3

python 爬虫中常用的 retry模块 retrying模块失败重试 Requests

发表评论点击这里取消回复。

[原创]python 利用pandas 读取csv 导入mongodb数据库[数据处理]

ImportError: cannot import name 'plot' mac/windows python3

python 爬虫中常用的 retry模块 retrying模块 失败重试 Requests

猜你喜欢

Java 中 MongoDB 分页查询的总结_[转]12498158的技术博客_51CTO博客

scrapy存储到MongoDB 如果存在则忽略不存在就插入

Pymong pymongo.errors.AutoReconnect: 127.0.0.1:27017 [已解决]

CentOS yum方式快速安装MongoDB3.4

Pandas中的map(), apply()和applymap()的区别

dataframe，Series 字符串 替换部分字符串 ,字符串处理

发表评论 点击这里取消回复。

关注我们的公众号

python 爬虫中常用的 retry模块 retrying模块失败重试 Requests

dataframe，Series 字符串替换部分字符串 ,字符串处理

发表评论点击这里取消回复。