在Python 的线程中运行协程(python线程操作)

liftword19小时前技术文章6

有没有办法让同步代码与异步代码看起来也是同时运行的呢?方法就是使用事件循环的.run_in_executor()方法。

我们来看一下 Python 官方文档[1]中的说法:

那么怎么使用呢?还是以非常耗时的递归方式计算斐波那契数列的这个函数为例:

def sync_calc_fib(n):
    if n in [1, 2]:
        return1
    return sync_calc_fib(n - 1) + sync_calc_fib(n - 2)


async def calc_fib(n):
    result = sync_calc_fib(n)
    print(f'第 {n} 项计算完成,结果是:{result}')
    return result

我们现在需要用 aiohttp 访问一个延迟5秒的网页,同时计算斐波那契数列第36项。

首先我们看看单独计算第36项需要5秒钟:

我们再来看看如果直接把这计算斐波那契数列和请求网站的两个异步任务放在一起“并行”,实际时间是两个任务的时间叠加:

现在,我想让两个任务“同时运行”,于是就可以这样修改代码:

import aiohttp
import asyncio
import time
from concurrent.futures import ThreadPoolExecutor


async def request(sleep_time):
    async with aiohttp.ClientSession() as client:
        resp = await client.get(f'http://127.0.0.1:8000/sleep/{sleep_time}')
        resp_json = await resp.json()
        print(resp_json)


def sync_calc_fib(n):
    if n in [1, 2]:
        return 1
    return sync_calc_fib(n - 1) + sync_calc_fib(n - 2)


def calc_fib(n):
    result = sync_calc_fib(n)
    print(f'第 {n} 项计算完成,结果是:{result}')
    return result


async def main():
    start = time.perf_counter()
    loop = asyncio.get_event_loop()
    with ThreadPoolExecutor(max_workers=4) as executor:
        tasks_list = [
            loop.run_in_executor(executor, calc_fib, 36),
            asyncio.create_task(request(5))
        ]
        await asyncio.gather(*tasks_list)
        end = time.perf_counter()
        print(f'总计耗时:{end - start}')


asyncio.run(main())

运行效果如下图所示:

在5秒钟的时间,就把计算斐波那契数列和请求5秒延迟的网站都做完了。

实现这样的转变,关键的代码就是:loop.run_in_executor(executor, calc_fib, 36)

其中的 loop就是主线程的事件循环(event loop),它是用来调度同一个线程里面的多个协程。

executor是我们使用ThreadPoolExecutor(max_workers=4)创建的一个有4个线程的线程池,calc_fib是一个耗时的同步函数,36是传入calc_fib的参数。loop.run_in_executor(executor, calc_fib, 36)的意思是说:

  1. calc_fib函数放到线程池里面去运行
  2. 给线程池增加一个回调函数,这个回调函数会在运行结束后的下一次事件循环把结果保存下来。

请注意上图中红色箭头对应的calc_fib这是一个同步函数,run_in_executor的第二个参数需要是一个同步函数的函数名。

在上面的例子中,我们创建的是有4个线程的线程池。所以这个线程池最多允许4个阻塞式的同步函数“并行”。

原文链接:

https://mp.weixin.qq.com/s/cbE86FE-VkhvhFJY6XmyPw

相关文章

一文了解 Python 中的线程池:高效并发编程的秘密武器

在 Python 编程的广阔天地里,我们常常会遇到需要同时处理多个任务的场景。想象一下,你正在开发一个网络爬虫,需要同时从多个网页上抓取数据;又或者你在处理大量的文件,需要同时对不同的文件进行读取、分...

Python并发编程中的设计模式(python 并发编程)

在现代软件开发中,并发编程已经成为提升应用性能和用户体验的关键技术。随着多核处理器的普及和分布式系统的广泛应用,掌握并发编程的设计模式变得越来越重要。本文将深入探讨Python中常用的并发编程设计模式...

24-3-Python多线程-线程队列-queue模块

3-1-概念queue模块提供了多线程编程中的队列实现,队列是线程安全的数据结构,能在多线程环境下安全地进行数据交换。3-2-queue 的队列类型Queue(先进先出队列)、LifoQueue(后进...

一分钟快速部署Django应用(django部署到linux)

在Python Web开发方面,Django的用户人数应该是最多的。很多开发者在完成应用开发之后,都会面临线上部署Django应用这个头疼的问题。当初我在部署“编程派”网站时,就碰到了很多障碍,折腾了...

使用Python进行并发编程(python 并发编程)

让计算机程序并发的运行是一个经常被讨论的话题,今天我想讨论一下Python下的各种并发方式。并发方式线程(Thread)多线程几乎是每一个程序猿在使用每一种语言时都会首先想到用于解决并发的工具(JS程...

从零构建Python响应式编程的核心原理与实现方法

响应式编程是一种以数据流和变化传播为核心的编程范式,它允许我们以声明式的方式处理异步数据流。在当今复杂的应用环境中,响应式编程正逐渐成为处理事件驱动型应用、实时数据处理以及交互式用户界面的重要方法。本...