异步任务神器 Celery

业务逻辑中触发一个发邮件的异步任务,而主程序可以继续往下运行。

Celery 是一个强大的分布式任务队列,它可以让任务的执行完全脱离主程序,甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务(async task)和定时任务(crontab)。它的架构组成如下图:

异步任务神器 Celery 简单实用-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客
  • 任务模块 Task

    包含异步任务和定时任务。其中,异步任务通常在业务逻辑中被触发并发往任务队列,而定时任务由 Celery Beat 进程周期性地将任务发往任务队列

  • 消息中间件 Broker

    Broker,即为任务调度队列,接收任务生产者发来的消息(即任务),将任务存入队列。Celery 本身不提供队列服务,官方推荐使用 RabbitMQ 和 Redis 等。

  • 任务执行单元 Worker

    Worker 是执行任务的处理单元,它实时监控消息队列,获取队列中调度的任务,并执行它

  • 任务结果存储 Backend

    Backend 用于存储任务的执行结果,以供查询。同消息中间件一样,存储也可使用 RabbitMQ, Redis 和 MongoDB 等。

    异步任务

    使用 Celery 实现异步任务主要包含三个步骤:

    1. 创建一个 Celery 实例
    2. 启动 Celery Worker
    3. 应用程序调用异步任务

    快速入门

    为了安全起见 需要创建个单独环境,我推荐使用pipenv

    异步任务神器 Celery 简单实用-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客

    为了简单起见,对于 Broker 和 Backend,这里都使用 redis。在运行下面的例子之前,请确保 redis 已正确安装,并开启 redis 服务,当然,celery 也是要安装的。可以使用下面的命令来安装 celery 及相关依赖:

    异步任务神器 Celery 简单实用-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客

安装 对应的依赖:

创建 Celery 实例

将下面的代码保存为文件 tasks.py

上面的代码做了几件事:

  • 创建了一个 Celery 实例 app,名称为 my_task
  • 指定消息中间件用 redis,URL 为 redis://127.0.0.1:6379/0
  • 指定存储用 redis,URL 为 redis://127.0.0.1:6379/1
  • 创建了一个 Celery 任务 add,当函数被 @app.task 装饰后,就成为可被 Celery 调度的任务;

启动 Celery Worker

在当前目录,使用如下方式启动 Celery Worker:

其中:

  • 参数 -A 指定了 Celery 实例的位置,本例是在 tasks.py 中,Celery 会自动在该文件中寻找 Celery 对象实例,当然,我们也可以自己指定,在本例,使用 -A tasks.app
  • 参数 --loglevel 指定了日志级别,默认为 warning,也可以使用 -l info 来表示;

在生产环境中,我们通常会使用 Supervisor 来控制 Celery Worker 进程。

启动成功后,控制台会显示如下输出:

异步任务神器 Celery 简单实用-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客

调用任务

现在,我们可以在应用程序中使用 delay()apply_async() 方法来调用任务。

在当前目录打开 Python 控制台,输入以下代码:

异步任务神器 Celery 简单实用-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客

在上面,我们从 tasks.py 文件中导入了 add 任务对象,然后使用 delay() 方法将任务发送到消息中间件(Broker),Celery Worker 进程监控到该任务后,就会进行执行。我们将窗口切换到 Worker 的启动窗口,会看到多了两条日志:

异步任务神器 Celery 简单实用-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客

如果我们想获取结果可以这样

在上面,我们是在 Python 的环境中调用任务。事实上,我们通常在应用程序中调用任务。比如,将下面的代码保存为 client.py:

异步任务神器 Celery 简单实用-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客

运行命令 $ python client.py,可以看到,虽然任务函数 add 需要等待2 秒才返回执行结果,但由于它是一个异步任务,不会阻塞当前的主程序,因此主程序会往下执行 print 语句,打印出结果。瞬时完成任务了。

参考 http://funhacks.net/2016/12/13/celery/




HTTPX 基础教程-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客