带你使用Python在两类场景下自动采集日志数据(附程序)
各位同学，大家好。采集日志数据是重要的数据来源。本次课程教大家使用Python技术从Windows和Linux两个环境去自动采集日志数据，轻松应对各类日志采集需求。
01 Python实时采集本地文件数据。
如果日志文件在本地，本地的操作系统是windows，可以这样来读取日志文件。
1. Subprocess
我们会使用Subprocess模块，Subprocess是Python内置的模块，这个模块中的Popen方法可以运行用户输入的命令行。如果运行正常，会把内容写入stdout管道。如果命令不正常，则把信息写入stderr管道。
Popen命令的基本格式是这样的：
shell=True 表示在终端中运行的命令，stdout=subprocess.PIPE 表示当命令运行正常的时候把结果写入stdout管道,stderr=subprocess.PIPE 表示的是当命令运行不正常的时候把结果写入stderr管道。
2.读取日志内容
我们使用以下的程序来实时读取日志内容：
其中的命令是powershell Get-Content –wait。
这是调用了Windows的powershell的Get-Content命令，来实时读取日志内容。
如果我们的操作系统是Linux，可以使用下面的程序来读取日志内容：
3.打印内容
读取到的结果通过以下程序来打印出来：
其中的readline是按照每行来读取内容，然后使用decode()将字节流转换成字符串，再使用strip方法，将内容中出现的/r和/n等字符删除。
最后使用communicate方法，将输出结果保存在内存中，而不是默认的保存到管道，这样存储能力更强，不容易卡死。这个进程将会一直执行直到外部程序来将它结束。
02 Python实时远程采集文件数据。
如果我们想远程采集linux服务器上面的日志信息，可以这样来操作。
1.创建ssh连接
Paramiko 是 Python 语言的一个 SSH 客户端。可以远程连接Linux服务器，通过 Python实现进行对远程服务器的操作。
创建SSH连接，我们使用以下程序来实现。
首先进行对paramiko下的SSHClient完成实例化。
然后使用
set_missing_host_key_policy() 方法，连接到没有已知主机秘钥的服务器。最后使用connect()方法，输入远程连接的地址、端口号，用户名，密码等信息。
2.通过ssh获取日志信息
接下来，我们使用以下程序来读取服务器日志。
我们使用exec_command()方法来执行tail –f命令，获取服务器日志信息。
其中ssh_stdin为标准输入流，通常用于向进程发送输入。
ssh_stdout为标准输出流，通常用于输出进程的结果。
ssh_stderr为标准错误流，通常用于输出进程的错误信息。
然后使用readline方法按照每行来读取内容，再使用strip方法，将内容中出现的/r和/n等字符删除。
最后结束ssh连接。
03 实例讲解。
接下来，我们给大家进行实例的讲解。
未完待续。
我是源动君，带领大家一起进步，谢谢观看。