asyncio 入门:事件循环与协程
从协程、事件循环到 TaskGroup 与超时控制,梳理 asyncio 的核心概念和常见误区。
写爬虫、调用多个 HTTP 接口或处理大量网络连接时,程序的大部分时间都花在等待 I/O 上。asyncio 的思路是:在等待期间把控制权交还给事件循环,让它去推进其他任务,从而用单线程完成并发。
协程与 await #
用 async def 定义的函数是协程函数,调用它只会得到一个协程对象,并不会立即执行:
import asyncio
async def greet(name: str) -> str:
await asyncio.sleep(1) # 模拟 I/O 等待
return f"hello, {name}"
coro = greet("python") # 此时函数体还没有运行
print(asyncio.run(coro)) # 交给事件循环执行
await 只能出现在协程内部,它表示“这里可能要等一会儿,先去做别的事”。被 await 的对象必须是 awaitable:协程、Task 或 Future。
说明
asyncio.run() 会创建新的事件循环,运行完传入的协程后关闭循环。一个程序通常只在入口处调用一次。
事件循环在做什么 #
事件循环可以理解为一个调度器,它不断重复三件事:
- 取出已经就绪的任务,运行到下一个
await; - 登记该任务正在等待的 I/O 或定时器;
- 当 I/O 完成或定时器到期时,把对应任务重新标记为就绪。
所以协程之间是协作式切换:只有执行到 await 时才会让出控制权。如果在协程里写了一个耗时的 CPU 计算或阻塞调用,整个循环都会被卡住。
并发运行多个任务 #
假设有 n 个请求,每个耗时 t_i。顺序执行的总耗时是 T_{串行} = \sum_{i=1}^{n} t_i,而并发执行时约为 T_{并发} \approx \max_i t_i。
asyncio.gather #
async def main() -> None:
results = await asyncio.gather(
greet("a"),
greet("b"),
greet("c"),
)
print(results) # 约 1 秒后输出三个结果
TaskGroup(Python 3.11+) #
TaskGroup 提供了结构化并发:任意一个子任务抛出异常时,其余任务会被自动取消,异常以 ExceptionGroup 的形式向上传播。
async def main() -> None:
async with asyncio.TaskGroup() as tg:
tasks = [tg.create_task(greet(name)) for name in ("a", "b", "c")]
# 离开 async with 时,所有任务都已完成
print([task.result() for task in tasks])
提示
新代码优先使用 TaskGroup。它能保证不会遗留“孤儿任务”,异常处理也更清晰。
超时与取消 #
asyncio.timeout() 用上下文管理器的方式给一段代码设置超时:
async def fetch_with_timeout() -> str | None:
try:
async with asyncio.timeout(2):
return await greet("slow")
except TimeoutError:
return None
任务被取消时,会在当前 await 处抛出 asyncio.CancelledError。如果需要清理资源,可以捕获它,但清理完一定要重新抛出,否则取消会被吞掉。
与阻塞代码协作 #
遇到没有异步版本的阻塞函数,可以用 asyncio.to_thread() 放到线程池中执行,避免阻塞事件循环:
import hashlib
from pathlib import Path
def file_digest(path: Path) -> str:
return hashlib.sha256(path.read_bytes()).hexdigest()
async def main() -> None:
digest = await asyncio.to_thread(file_digest, Path("data.bin"))
print(digest)
常见误区 #
| 写法 | 问题 | 改进 |
|---|---|---|
在协程里调用 time.sleep() |
阻塞整个事件循环 | 使用 await asyncio.sleep() |
调用协程函数却忘记 await |
协程不会执行,并产生警告 | 加上 await 或创建 Task |
create_task() 后不保存引用 |
任务可能被垃圾回收 | 使用 TaskGroup 或保存引用 |
捕获 CancelledError 后不抛出 |
取消失效 | 清理完成后 raise |
小结 #
async def定义协程,await是让出控制权的位置;- 事件循环负责调度,协程之间协作式切换;
- 并发执行优先用
TaskGroup,配合asyncio.timeout()控制超时; - 阻塞代码交给
asyncio.to_thread()。