在 Python 中实现延迟调用

liftword2周前 (04-15)技术文章5

熟悉 Golang 的同学都知道,Golang 里面有一个关键词叫做defer,它可以实现延迟调用。

实际上在 Python 里面也有相关的语法,那就是contextlib.ExitStack

我们来看这样一个场景:

我有一个函数parse,它的作用是从 Redis 中持续读入数据,并写入到MongoDB 中。示例代码如下:

import json
import redis
import pymongo

client = redis.Redis()
handler = pymongo.MongoClient().test.data

def parse():
    data = client.lpop('test')
    if not data:
        return
    handler.insert_one(json.loads(data))

但现在我想增加一个需求,当Redis 读取结束或者读取数据报错的时候,能把当前的时间也写入到MongoDB 中。

那么代码可能变成下面这样:

import json
import redis
import datetime
import pymongo

client = redis.Redis()
handler = pymongo.MongoClient().test.data

def parse():
    while True:
        try:
            data = client.lpop('test')
            if not data:
                handler.insert_one({'finished': True, 'ts': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')})
                return
            handler.insert_one(json.loads(data))
        except Exception:
            handler.insert_one({'finished': True, 'ts': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'})

可以看到,代码变得很难看了。

现在,我们可以使用延迟调用来让代码变得更好看。

要实现这个目的,就可以开始使用ExitStack了。它可以注册多个回调函数,在退出上下文缩进时执行。

我们先来看一个简单的例子:

import contextlib

def callback_1():
    print('我是第一个回调函数')

def callback_2(x):
    print(f'我是第二个回调函数,传入参数:{x}')


with contextlib.ExitStack() as stack:
    stack.callback(callback_1)
    stack.callback(callback_2, 100)
    print(12345)
    print('xxxx')
print('退出缩进')

运行效果如下图所示:

可以看出以下特点:

  1. 被添加的回调函数进入了一个栈,所以后添加的回调函数先调用
  2. 回调函数会在结束缩进的时候被调用

现在我们来人工构造一个异常:

可以看到,即使缩进里面出现了报错,回调函数仍然可以正常运行。等所有回调函数运行完成以后,Python 才会退出。

基于以上特点,我们就可以来重构最开始的代码了:

import json
import redis
import datetime
import pymongo
import contextlib

client = redis.Redis()
handler = pymongo.MongoClient().test.data

def add_ts():
    handler.insert_one({'finished': True, 'ts': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')})

def parse():
    with contextlib.ExitStack() as stack:
        stack.callback(add_ts)
        while True:
            data = client.lpop('test')
            if not data:
                return
            handler.insert_one(json.loads(data))

无论是正常运行结束还是运行过程中报错,add_ts函数都会正常运行,确保始终增加一条日期数据。

原文链接:

https://mp.weixin.qq.com/s/ZDxCnrbbooGS5ptuqMAuCA

相关文章

CUDA拥抱Python:真爱还是逢场作戏?

【引言】想象一下,你是一位Python高手,代码写得飞起,但一提到GPU加速,却只能眼巴巴地看着C/C++大佬们秀操作,是不是感觉有点憋屈?别急,好消息来了!英伟达突然宣布,CUDA,这个GPU加速界...

真相!Python函数嵌套实战:解决开发中3大难题,附详细代码解析

一、开发中遇到的问题问题1:变量作用域混乱当内部函数修改外部函数变量时,会报UnboundLocalError。def outer(): x = 10 def inner():...

用 Python 重构 God 类:万物皆有其位

抵制将更多代码转储到您正在处理的类中而不是打开正确的代码或者创建一个新代码的冲动是困难的。 你为什么不把那个盘子放在洗碗机而不是水槽里呢?神的课就是从这里来的。 班级知道的太多了。 带有导入列表的那个...

python魔法方法:__repr__与__str__

在Python中,魔法方法(通常称为特殊方法或双下方法)是面向对象编程中的一个重要概念,它们以两个下划线 __ 开头和结尾,例如 __init__通常,我们定义一个类,class Test(objec...

机器学习特征筛选:向后淘汰法原理与Python实现

来源:DeepHub IMBA本文约2100字,建议阅读7分钟本文详细介绍了向后淘汰法的工作原理、实施步骤、优势局限性,并提供了多种Python实现方式。向后淘汰法(Backward Eliminat...

有bug!用Pytorch Lightning重构代码速度更慢,修复后速度倍增

选自Medium作者:Florian Ernst机器之心编译编辑:小舟、陈萍用了 Lightning 训练速度反而更慢,你遇到过这种情况吗?PyTorch Lightning 是一种重构 PyTorc...