如何针对 Python 运行时引入第三方包

声明

  • 本文测试所用设备系统为 Ubuntu18.04
  • 运行模式为 docker 容器模式,native 进程模式配置流程相同
  • Python 版本为 3.6,2.7 版本配置流程相同,但需要在 Python 脚本中注意语言差异
  • 模拟 MQTT client 行为的客户端为 MQTTBox
  • 本文选取 requestsPytorch 两种第三方包进行演示说明
  • 本文中基于 Hub 模块创建的服务名称为 localhub 服务。并且针对本文的测试案例中,对应的 localhub 服务、函数计算服务以及其他服务的配置统一如下:
# localhub 配置
# 配置文件位置: var/db/baetyl/localhub-conf/service.yml
listen:
  - tcp://0.0.0.0:1883
principals:
  - username: 'test'
    password: 'hahaha'
    permissions:
      - action: 'pub'
        permit: ['#']
      - action: 'sub'
        permit: ['#']

# 本地 baetyl-function-manager 配置
# 配置文件位置: var/db/baetyl/function-manager-conf/service.yml
hub:
  address: tcp://localhub:1883
  username: test
  password: hahaha
rules:
  - clientid: localfunc-1
    subscribe:
      topic: py
    function:
      name: sayhi3
    publish:
      topic: py/hi
functions:
  - name: sayhi3
    service: function-sayhi3
    instance:
      min: 0
      max: 10
      idletime: 1m

# application.yml配置
# 配置文件位置: var/db/baetyl/application.yml
version: v0
services:
  - name: localhub
    image: hub.baidubce.com/baetyl/baetyl-hub
    replica: 1
    ports:
      - 1883:1883
    mounts:
      - name: localhub-conf
        path: etc/baetyl
        readonly: true
      - name: localhub-data
        path: var/db/baetyl/data
      - name: localhub-log
        path: var/log/baetyl
  - name: function-manager
    image: hub.baidubce.com/baetyl/baetyl-function-manager
    replica: 1
    mounts:
      - name: function-manager-conf
        path: etc/baetyl
        readonly: true
      - name: function-manager-log
        path: var/log/baetyl
  - name: function-sayhi3
    image: hub.baidubce.com/baetyl/baetyl-function-python36
    replica: 0
    mounts:
      - name: function-sayhi-conf
        path: etc/baetyl
        readonly: true
      - name: function-sayhi-code
        path: var/db/baetyl/function-sayhi
        readonly: true
volumes:
  # hub
  - name: localhub-conf
    path: var/db/baetyl/localhub-conf
  - name: localhub-data
    path: var/db/baetyl/localhub-data
  - name: localhub-log
    path: var/db/baetyl/localhub-log
  # function manager
  - name: function-manager-conf
    path: var/db/baetyl/function-manager-conf
  - name: function-manager-log
    path: var/db/baetyl/function-manager-log
  # function python runtime sayhi
  - name: function-sayhi-conf
    path: var/db/baetyl/function-sayhi-conf
  - name: function-sayhi-code
    path: var/db/baetyl/function-sayhi-code

系统自带的 Python 环境有可能不会满足我们的需要,实际使用往往需要引入第三方库,下面给出两个示例。

引用 requests 第三方包

假定我们想要对一个网站进行爬虫,获取相应的信息。这里,我们可以引入第三方库 requests。如何引入,具体如下所示:

  • 步骤 1: 进入 Python 脚本所在目录,然后下载 requests 及其依赖(idna、urllib3、chardet、certifi),并注意 pip 命令对应 Python 的版本
cd /directory/of/Python/script
pip download requests
  • 步骤 2: 解压 .whl 文件,得到源码包,然后删除 .whl 文件和包描述文件,只保留源码包
unzip \*.whl
rm -rf *.whl *.dist-info
  • 步骤 3: 使当前目录成为一个 package
touch __init__.py
  • 步骤 4: 在具体执行脚本中引入第三方库 requests,如下所示:
import requests
  • 步骤 5: 执行脚本
python your_script.py

如上述操作正常,则形成的脚本目录结构如下图所示。

../_images/python-third-lib-dir-requests.pngPython requests 第三方库脚本目录

下面,我们编写脚本 get.py 来获取 https://baidu.com 的 headers 信息,假定触发条件为 Python 运行时接收到来自 localhub 服务的 A 指令,具体如下:

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import requests

def handler(event, context):
  """
  data: {"action": "A"}
  """
  if 'action' in event:
    if event['action'] == 'A':
      r = requests.get('https://baidu.com')
      if str(r.status_code) == '200':
        event['info'] = dict(r.headers)
      else:
        event['info'] = 'exception found'
    else:      event['info'] = 'action error'
  else:
    event['error'] = 'action not found'

  return event

函数运行时服务的配置如下:

# python function 配置
functions:
  - name: 'sayhi3'
    handler: 'get.handler'
    codedir: 'var/db/baetyl/function-sayhi'

如上,localhub 服务接收到发送到主题 py 的消息后,会调用 get.py 脚本执行具体处理逻辑,然后将执行结果以 MQTT 消息形式反馈给主题 py/hi。这里,我们通过 MQTTBox 订阅主题 py/hi,并向主题 py 发送消息 {"action": "A"},然后观察 MQTTBox 订阅主题 py/hi 的消息收取情况。如正常,则可正常获取 https://baidu.com 的 headers 信息。

../_images/write-python-script-third-lib-requests.png获取Baetyl官网headers信息

引用 Pytorch 第三方包

Pytorch 是机器学习中使用广泛的深度学习框架,我们可以引入第三方库 Pytorch 使用它的功能。如何引入,具体如下所示:

  • 步骤 1: 进入 Python 脚本目录,然后下载 Pytorch 及其依赖(PIL、caffee2、numpy、six、torchvision)
cd /directory/of/Python/script
pip3 download torch torchvision
  • 步骤 2: 解压 .whl 文件,得到源码包,然后删除 .whl 文件和包描述文件
unzip \*.whl
rm -rf *.whl *.dist-info
  • 步骤 3: 使当前目录成为一个 package
touch __init__.py
  • 步骤 4: 在具体执行脚本中引入第三方库 Pytorch,如下所示:
import torch
  • 步骤 5: 执行脚本
python your_script.py

如上述操作正常,则形成的脚本目录结构如下图所示。

../_images/python-third-lib-dir-Pytorch.pngPython Pytorch 第三方库脚本目录

下面,我们编写脚本 calc.py 来使用 Pytorch 中的函数生成随机张量,假定触发条件为 Python 运行时接收到来自 localhub 服务的 B 指令,具体如下:

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import torch

def handler(event, context):
  """
  data: {"action": "B"}
  """
  if 'action' in event:
    if event['action'] == 'B':
      x = torch.rand(5, 3)
      event['info'] = x.tolist()
    else:
      event['info'] = 'exception found'
  else:
    event['error'] = 'action not found'

  return event

函数运行时服务的配置如下:

# python function 配置
functions:
  - name: 'sayhi3'
    handler: 'calc.handler'
    codedir: 'var/db/baetyl/function-sayhi'

如上,localhub 服务接收到发送到主题 py 的消息后,会调用 calc.py 脚本执行具体处理逻辑,然后将执行结果以 MQTT 消息形式反馈给主题 py/hi。这里,我们通过 MQTTBox 订阅主题 py/hi,并向主题 py 发送消息 {"action": "B"},然后观察 MQTTBox 订阅主题 py/hi 的消息收取情况。如正常,则可正常生成随机张量。

../_images/write-python-script-third-lib-Pytorch.png生成随机张量