Pydantic :一个数据验证python库 python 验证数据分析
前言
Pydantic 是一个用于数据验证和解析的 Python 库,它通过声明式的方式定义数据模型,并提供了自动生成文档、验证数据等功能。
一.安装
pip install pydantic
二.基本用法
1.定义数据模型:
使用 Pydantic 定义数据模型,可以通过继承 pydantic.BaseModel 来创建模型类。在模型类中声明字段并定义它们的类型。
from pydantic import BaseModel
class User(BaseModel):
id: int
username: str
email: str
2.实例化和验证:
使用定义的模型类创建实例,并进行数据验证。Pydantic 将验证数据类型和字段的其他规则。
user_data = {"id": 1, "username": "张三", "email": "zs@example.com"}
user = User(**user_data)
print(user)
如果提供的数据与模型不匹配,Pydantic 将引发 pydantic.error_wrappers.ValidationError 异常。
3.模型的字段Field验证:
Pydantic 的 Field 是一个用于定义模型字段的类,它允许你为模型中的每个字段指定类型、默认值、描述以及其他验证规则。以下是 Field 的一些常见用法:
- 定义字段类型:通过 Field 可以明确指定字段的数据类型,确保数据的类型安全。
- 设置默认值:可以在 Field 中为字段设置默认值,当创建模型实例时未提供该字段的值,将使用默认值。
- 添加描述信息:可以为字段添加描述信息,这有助于生成文档或在错误消息中提供更清晰的说明。
- 自定义验证:如果需要对字段进行额外的验证,可以在 Field 中使用 validator 参数来添加自定义的验证函数。
- 字段别名:有时候需要在不同的上下文中使用不同的字段名,可以通过 Field 的 alias 参数来实现。
- 控制序列化:通过 Field 的 exclude 参数,可以控制该字段是否被包含在模型的序列化输出中。
- 读取描述:可以使用 description 属性来获取字段的描述信息,这在自动生成API文档时非常有用。
- 额外信息:Field 还支持 title、example 等其他参数,用于提供更多关于字段的信息。
- 继承和共享:如果多个模型中有相同的字段定义,可以使用 Field 来实现字段的继承和共享,避免重复代码。
- 配合类型注解:Field 通常与 Python 的类型注解一起使用,以提供更强的类型检查和自动完成功能。
from pydantic import BaseModel, Field, ValidationError, field_validator
class User(BaseModel):
id: int = Field(default=0, lt=100, gt=0)
username: str
email: str
if __name__ == '__main__':
user_data = {"id": 120, "username": "张三", "email": "zs@example.com"}
try:
user = User(**user_data)
except ValidationError as e:
print(e.json(indent=4))
4.模型的额外配置
在模型中,可以通过 class Config 类来配置一些行为,例如是否启用数据解析、字段别名、校验字段的预处理函数等。
from pydantic import BaseModel, Field, ValidationError, field_validator
class User(BaseModel):
id: int = Field(default=0, lt=100, gt=0)
username: str
email: str
@field_validator('username')
def name_must_alpha(cls, v):
assert v.isalpha(), 'name must be alpha'
return v
if __name__ == '__main__':
#print(User.model_json_schema())
user_data = {"id": 12, "username": "123", "email": "zs@example.com"}
try:
user = User(**user_data)
except ValidationError as e:
print(e.json(indent=4))
5.生成文档:
Pydantic 可以自动生成 API 文档。通过使用 schema() 方法,
from pydantic import BaseModel, Field, ValidationError, field_validator
class User(BaseModel):
id: int = Field(default=0, lt=100, gt=0)
username: str
email: str
@field_validator('username')
def name_must_alpha(cls, v):
assert v.isalpha(), 'name must be alpha'
return v
if __name__ == '__main__':
print(User.model_json_schema()
6.注意事项
1.类型注解:确保使用正确的类型提示来定义字段,以便Pydantic能够进行准确的验证。这是Pydantic强大验证功能的基础。
2.数据模型验证:当创建模型实例时,Pydantic会自动根据模型中定义的规则验证传入的数据。如果数据无效,Pydantic将抛出异常并停止验证过程。
3.错误消息:Pydantic提供友好的错误消息,帮助理解验证失败的原因。这有助于调试和用户反馈。
4.环境变量:可以使用BaseSettings从环境变量中读取系统设置,这对于配置管理非常有用。
5.序列化与反序列化:Pydantic支持数据的序列化和反序列化,可以轻松地将数据转换为Python数据结构、JSON等格式。
6.IDE集成:Pydantic与IDE和linter配合良好,可以提供更好的开发体验和代码质量。
7.嵌套模型:在模型内部使用其他模型,以创建复杂的数据结构,同时保持清晰的结构和易于管理。
8.数据转换:Pydantic会尝试将输入数据转换为模型中定义的字段类型,例如将字符串转换为整数或浮点数。
9.避免循环引用:在使用Pydantic时,应避免模型之间的循环引用,这可能会导致验证过程中的问题。
以上只是pydantic的一部分用法,更多用法请参考官方文档
https://docs.pydantic.dev/latest/