asyncio 入门:事件循环与协程

从协程、事件循环到 TaskGroup 与超时控制,梳理 asyncio 的核心概念和常见误区。

Python 约 2 分钟 725 字
本文目录
  1. 协程与 await
  2. 事件循环在做什么
  3. 并发运行多个任务
  4. asyncio.gather
  5. TaskGroup(Python 3.11+)
  6. 超时与取消
  7. 与阻塞代码协作
  8. 常见误区
  9. 小结

写爬虫、调用多个 HTTP 接口或处理大量网络连接时,程序的大部分时间都花在等待 I/O 上。asyncio 的思路是:在等待期间把控制权交还给事件循环,让它去推进其他任务,从而用单线程完成并发。

协程与 await #

用 async def 定义的函数是协程函数,调用它只会得到一个协程对象,并不会立即执行:

python
import asyncio


async def greet(name: str) -> str:
    await asyncio.sleep(1)  # 模拟 I/O 等待
    return f"hello, {name}"


coro = greet("python")  # 此时函数体还没有运行
print(asyncio.run(coro))  # 交给事件循环执行

await 只能出现在协程内部,它表示“这里可能要等一会儿,先去做别的事”。被 await 的对象必须是 awaitable:协程、Task 或 Future。

说明

asyncio.run() 会创建新的事件循环,运行完传入的协程后关闭循环。一个程序通常只在入口处调用一次。

事件循环在做什么 #

事件循环可以理解为一个调度器,它不断重复三件事:

  1. 取出已经就绪的任务,运行到下一个 await;
  2. 登记该任务正在等待的 I/O 或定时器;
  3. 当 I/O 完成或定时器到期时,把对应任务重新标记为就绪。

所以协程之间是协作式切换:只有执行到 await 时才会让出控制权。如果在协程里写了一个耗时的 CPU 计算或阻塞调用,整个循环都会被卡住。

并发运行多个任务 #

假设有 n 个请求,每个耗时 t_i。顺序执行的总耗时是 T_{串行} = \sum_{i=1}^{n} t_i,而并发执行时约为 T_{并发} \approx \max_i t_i。

asyncio.gather #

python
async def main() -> None:
    results = await asyncio.gather(
        greet("a"),
        greet("b"),
        greet("c"),
    )
    print(results)  # 约 1 秒后输出三个结果

TaskGroup(Python 3.11+) #

TaskGroup 提供了结构化并发:任意一个子任务抛出异常时,其余任务会被自动取消,异常以 ExceptionGroup 的形式向上传播。

python
async def main() -> None:
    async with asyncio.TaskGroup() as tg:
        tasks = [tg.create_task(greet(name)) for name in ("a", "b", "c")]
    # 离开 async with 时,所有任务都已完成
    print([task.result() for task in tasks])

提示

新代码优先使用 TaskGroup。它能保证不会遗留“孤儿任务”,异常处理也更清晰。

超时与取消 #

asyncio.timeout() 用上下文管理器的方式给一段代码设置超时:

python
async def fetch_with_timeout() -> str | None:
    try:
        async with asyncio.timeout(2):
            return await greet("slow")
    except TimeoutError:
        return None

任务被取消时,会在当前 await 处抛出 asyncio.CancelledError。如果需要清理资源,可以捕获它,但清理完一定要重新抛出,否则取消会被吞掉。

与阻塞代码协作 #

遇到没有异步版本的阻塞函数,可以用 asyncio.to_thread() 放到线程池中执行,避免阻塞事件循环:

python
import hashlib
from pathlib import Path


def file_digest(path: Path) -> str:
    return hashlib.sha256(path.read_bytes()).hexdigest()


async def main() -> None:
    digest = await asyncio.to_thread(file_digest, Path("data.bin"))
    print(digest)

常见误区 #

写法 问题 改进
在协程里调用 time.sleep() 阻塞整个事件循环 使用 await asyncio.sleep()
调用协程函数却忘记 await 协程不会执行,并产生警告 加上 await 或创建 Task
create_task() 后不保存引用 任务可能被垃圾回收 使用 TaskGroup 或保存引用
捕获 CancelledError 后不抛出 取消失效 清理完成后 raise

小结 #

  • async def 定义协程,await 是让出控制权的位置;
  • 事件循环负责调度,协程之间协作式切换;
  • 并发执行优先用 TaskGroup,配合 asyncio.timeout() 控制超时;
  • 阻塞代码交给 asyncio.to_thread()。