celery 任务队列预取机制

我们启动celery基本命令为:

当以此命令启动celery后,celery默认情况下执行任务会有个预取机制(prefetching),预取是什么呢,如下一张图:

celery 任务队列取消预取机制  加入  -O fair-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客

我们假设有两个worker,但当任务量较多的时候,celery有个任务队列,每个wroker执行完了,就从这个队列中取任务接着执行。但当有预取机制时,队列中每个task,有了自己的明确限制,就是我这个任务需要指定的worker去执行,就算其他worker是空闲状态,也不能拿到我执行。

celery可能是考虑到公平性问题,即每个worker所执行的任务数量是要均等的。但是,这样有一个问题,当某个任务需要执行很长时间,导致这个任务占用的worker一直得不到释放,这时候任务队列中被这个不被释放的worker预取的任务,一直在等待,并且,其他空闲worker想要取任务,但是都被这个等待的任务阻塞。整个celery都讲陷入等待。

如何解决上述问题呢?

启动celery的命令加上:

当加上-O fair时,celery将取消预取机制,如下图:

celery 任务队列取消预取机制  加入  -O fair-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客

这样,只要有空闲worker,就会从任务队列中去取任务,保证任务高效执行。这样也就导致每个worker执行的任务量有差距了。