单片机上运行Python——MicroPython(一)
MicroPython被设计为能够运行于单片机或者微控制器上。对于熟悉常规计算机编程的程序员来说,这些设备往往具有许多硬件上的限制。具体来讲,其可用的RAM资源和“硬盘”资源(Flash存储器)均十分有限。该手册提供了一些方法以尽可能充分地利用这些有限的资源。因为MicroPython可运行于许多不同架构的单片机上,下面这些方法将力求通用。必要的话,你可以参考特定平台相关的文档以获取更多更详细的信息。
Flash存储器
对于运行MicroPython的设备,应对存储容量有限问题的最简单方法是插入一张Micro SD卡。然而,有时候这并不现实,或许是由于该设备根本就没有SD卡槽,或许是出于成本或者功耗方面的原因。因此,我们必须充分利用板载Flash存储器的资源。首先,MicroPython系统固件程序需要存储在板载Flash存储器上,然后,剩余的其它存储空间才可供用户使用。然而,有时候由于所连接的Flash存储器物理连接结构等原因,这些空间并不能以文件系统的方式被直接使用。这种情况下,可以通过用户自定义代码模块封装对该空间的操作,再将该模块固化到系统固件中,最后烧写到设备中以达到访问这些空间的目的。
具体有两种方法可用:固化模块源码和固化模块字节码。前者将模块源码和系统固件一起固化,后者则使用交叉编译器将源码转换为字节码,然后再和系统固件一起固化。无论使用哪种方法,之后该模块便能够通过下面所述导入语句使模块可用:
import mymodule
固化模块源码和固化字节码的详细方法依具体架构平台而不同,可参考相关平台源码树中README文件中所述编译(build)固件的指令步骤。
通常来讲,其步骤大致如下:
- 克隆MicroPython源码仓库到本地
- 获取平台特定的编译工具链以便接下来编译系统固件
- 首先编译交叉编译器
- 将所要固化的模块源码或者模块字节码放到特定目录中
- 编译(build)系统固件。(需参考平台相关文档以获取特定编译命令来编译所需固化的模块或字节码)
- 将所编译(build)的系统固件烧写到设备中
RAM
若要减少RAM资源的使用,可从两个阶段入手:编译阶段和执行阶段。提到内存消耗,内存碎片也是需要注意与考虑的。通常来讲,代码编程时要尽量减少重复构造对象和析构对象的操作,详细原因在下面的“堆栈”章节中有详述。
- 编译阶段
模块被导入时,MicroPython虚拟机(VM)会将模块源码编译(compile)为字节码,然后执行。字节码就存储在RAM中。此处的编译器本身运行也需要占用一定RAM资源,一旦编译完成,这部分RAM资源便可被再次使用。
如果已经导入了许多模块,编译器运行所需RAM资源不足的问题就会显现。这种情况下,导入语句便会产生内存异常。
如果一个模块在被导入时便实例化了全局对象,该全局对象所占用的RAM资源在后续其它模块导入过程中不能被再次使用。通常来讲,最好避免在导入时运行过多代码,更好的方法是在所有模块均被导入完成后再由应用程序启动运行初始化代码。这样才会给编译器保留下最多可用的RAM资源。
如果RAM资源仍然不足以编译所有的模块,另一个解决方案是对代码模块进行预编译。MicroPython中的交叉编译器能够将Python模块编译成字节码。该字节码文件以.mpy为后缀,其同样能够以常规的方式复制到系统中被导入使用。另外,一些模块也可以选择随系统固件一起固化为字节码。在大多数平台上,这样会节省更多的RAM资源,因为这部分字节码会直接从Flash中运行而无需存储在RAM中。
- 执行阶段
该阶段中,有许多编程技巧能够用于减少RAM资源的消耗。
(1) 常量
MicroPython提供了const关键字,其能够以如下方式使用:
from micropython import const
ROWS = const(33)
_COLS = const(0x10)
a = ROWS
b = _COLS
上述代码中,ROWS和_COLS对象均被赋予常量值,其被引用时,编译器会直接使用其字面值而不会再通过变量名进行查找引用,这就节省了RAM资源占用。然而,ROWS对象仍然会占用至少两个字存储空间:分别为全局字典空间中字典的键(key)和值(value)。在全局字典空间中对其进行保留存储是必要的,因为可能会有其它模块需要将其导入并使用。通过在变量名前加下划线,比如_COLS,该变量所占RAM资源可以被进一步节省掉,这表示该变量在该模块之外将不可见,所以也就不占用RAM资源了。
const()的参数可以为任何等效为整数的值,比如0x100,或者1<<8,甚至可以为已经在其它地方定义过的常量符号,比如1<<BIT。
(2) 常量数据结构
如果有大量常量数据,并且其所在平台支持直接从Flash中执行代码,RAM资源还能够按照如下方式高效节省地使用:将数据保存于Python模块中并且固化为字节码。这些数据应该改被定义为bytes类型,这样,编译器便知道这些对象是不可变的,并保证其保存于Flash中而无需复制到RAM中。使用ustruct模块能够在bytes类型和其它Python内置数据类型之间进行相互转换。
Python中的strings,floats,bytes,integers和complex numbers亦为不可变类型,因此,其对象也会被固化到Flash中。如下面代码行:
mystring = "The quick brown fox"
实际的字符串"The quick brown fox"会存储在Flash中。代码实际运行时,该字符串的引用会被赋值给变量mystring。该引用会占用一个单独的字存储空间。原则上,长整形变量也可用于存储常量数据:
bar = 0xDEADBEEF0000DEADBEEF
和前面字符串示例中情况相同,代码实际运行时,任意大的整数值均可被赋值给引用变量bar。该引用变量占用一个单独的字存储空间。
这样来看,含有整数类型的元组也许能够被用于以最小RAM占用的形式来存储常量数据。然而,在当前版本中,该方法并不奏效。(该代码能正常工作,但并没有节省RAM资源消耗)
foo = (1, 2, 3, 4, 5, 6, 100000)
实际运行时,该元组存在于RAM中。也许未来版本中会改善该种情况。
(3) 非必要的实例化对象
许多情况下,对象会在无意中被创建和销毁。这会造成内存碎片从而降低内存可用性。下面小节讨论了这些具体情况。
1> 字符串连接
考虑如下代码段,其目的是生成常量字符串。
var = "foo" + "bar"
var1 = "foo" "bar"
var2 = """\
foo\
bar"""
上面每种方式都能够生成相同结果,然而对于第一种方式,在实际运行时,生成第三个字符串对象之前,非必要地生成了两个临时字符串对象,这就需要申请更多的RAM资源以用于进行字符串连接。另外两种方式在编译阶段即可执行字符串连接操作,更加高效,减少了内存碎片。
有些情况下,在将字符串传给流对象(比如文件)之前,字符串必须被动态创建。此时,采用短字符串形式会更节省RAM资源。相比于创建一个大的字符串对象,应该优先创建一个短字符串以传给流对象,然后再继续进行后续处理。
动态创建字符串的最好的方式是使用format()方法:
var = "Temperature {:5.2f} Pressure {:06d}\n".format(temp, press)
2> 缓冲处理
读写类似UART,I2C和SPI等接口设备时,应该使用预先分配的缓冲数据以避免非必要的对象创建行为。考虑如下两个循环:
while True:
var = spi.read(100)
# process data
buf = bytearray(100)
while True:
spi.readinto(buf)
# process data in buf
前一种方式在每次循环体执行时均创建缓冲对象,而第二种方式重用了预先分配的缓冲对象。从内存碎片的角度来讲,后者更加快速和有效。
3> bytes类型比ints类型更加小巧
在大多数平台上,整形数据占用四个字节。考虑如下foo()函数的两种调用方式:
def foo(bar):
for x in bar:
print(x)
foo((1, 2, 0xff))
foo(b'\1\2\xff')
第一种调用方式中,需要在RAM中创建整型数据元组。第二种调用方式更有效地创建了bytes对象,从而耗费更少的RAM空间。如果该模块被固化为字节码,此bytes对象将存在于Flash上。
4> strings类型 VS bytes类型
Python3引入了Unicode支持,这就造成了字符串和字节数据之间的些许区别。MicroPython能够确保只要字符串是符合ASCII编码的(比如其值均小于126),则其不占用额外多余的内存空间。如果一些值能够在8位字节表示范围之内,可以使用类型为bytes或者bytearray的对象以确保不会额外占用多余的内存空间。注意,大部分适用于字符串的方法(比如str.strip())也能够应用于bytes类型对象,所以,消除Unicode编码带来的影响的代价并不大。
s = 'the quick brown fox' # A string instance
b = b'the quick brown fox' # A bytes instance
当必须要在strings和bytes类型之间进行转换时,可以使用str.encode()方法和bytes.decode()方法。注意,strings和bytes均是不可变的,任何以一个对象作为输入从而产生另一个对象的操作均至少需要进行一次RAM内存分配。如下代码中的第二行则分配了一个新的bytes对象。如果foo是一个string类型对象,也同样会进行内存分配。
foo = b' empty whitespace'
foo = foo.lstrip()
5>运行时编译操作
Python的eval和exec函数会在代码运行时执行编译动作,这就会消耗大量的RAM资源。注意,micropython-lib中的pickle库会使用exec函数,使用ujson库进行对象序列化会更加高效一点。
6>在Flash中存储字符串
Python字符串是不可变的,因此也许可以将其存储到只读存储器中。编译器有能力将Python模块代码中定义的字符串放置到Flash中,通过固化模块的方法即可达到该目的。若要固化模块,必须在PC上建立对应源码树并使用编译工具将其编译(build)进系统固件。该过程即使在模块没有充分调试好的情况下也能顺利进行,如果你急需首先将其导入和运行起来。
导入模块后,执行如下语句:
micropython.qstr_info(1)
然后将所有的Q(xxx)样式的代码行复制并粘贴到文本编辑器中,检查并删除明显无效的行。打开ports/stm32目录(或其它在用的对应架构目录)中的qstrdefsport.h文件,将修正过的代码行复制并粘贴到文件的末尾。保存文件,重新编译(build)和烧写系统固件。再次导入模块并检查结果是否正确:
micropython.qstr_info(1)
此时,Q(xxx)警告行应该就都消失了。
注:后边还有部分内容,在下一篇中介绍吧,免得文章太长失去耐心读下去了。可以关注作者哦...