如何读取以大文件,可以使用read(size),一次最多读取size个字节。
100G也是可以读取的

def read_in_chunks(file_object, chunk_size=1024):
    """把文件切割成一块块的读,默认大小是1024k"""
    while True:
        data = file_object.read(chunk_size)

        if not data:
            break
        yield data

def read_in_chunks(file_object, chunk_size=1024):
    """把文件切割成一块块的读,默认大小是1024k"""
    while True:
        data = file_object.read(chunk_size)

        if not data:
            break
        yield data


f = open('new.log')
for piece in read_in_chunks(f):
    process_data(piece)
Python3 读取大文件-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客
HTTPX 基础教程-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客