python web部署

python web部署

常见的python web部署是gunicorn+nginx, 最好再加一个supervisor守护进程

架构：
nginx（反向代理）-> gunicorn（with gevent）-> flask server -> supervisor

nginx 只使用反向代理功能，不再作负载均衡(多线程)。负载均衡在 gunicorn 侧实现，采用轮询方式。

如图所示

image-20240222001601479

gunicorn

gunicorn和uwsgi都是两种常见的wsgi服务器, 由于uwsgi安装困难, 所以项目实践采用gunicorn

使用前景

  • 运行python wsgi.py脚本，即可 web 访问，但无法并发访问，如果需要多线程开启 web 服务，实现并发访问，则需要额外一个工具进行封装，如gunicorn
  • 它全名叫Green Unicorn，是一个被广泛使用的高性能的Python WSGI Unix HTTP服务器。
  • Gunicorn 是python中的WSGI容器，优点就是配置简单，轻量级的资源消耗，以及高性能。

安装

1
2
pip install gunicorn
gunicorn -h  # 查看使用的命令

启动

在flask的项目的目录下启动

方式一: 命令行

1
2
# 第一个app指的是app.py文件，第二个指的是flask应用的名字；
gunicorn -w 4 -b 0.0.0.0:8000 app:app

gunicorn的参数详解

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
-c CONFIG    : CONFIG,配置文件的路径，通过配置文件启动；生产环境使用；
-b ADDRESS   : ADDRESS，ip加端口，绑定运行的主机；
-w INT, --workers INT：用于处理工作进程的数量，为正整数，默认为1；
-k STRTING, --worker-class STRTING：要使用的工作模式，默认为sync异步，可以下载eventlet和gevent并指定
--threads INT：处理请求的工作线程数，使用指定数量的线程运行每个worker。为正整数，默认为1。
--worker-connections INT：最大客户端并发数量，默认情况下这个值为1000。
--backlog int：未决连接的最大数量，即等待服务的客户的数量。默认2048个，一般不修改；
-p FILE, --pid FILE：设置pid文件的文件名，如果不设置将不会创建pid文件
--access-logfile FILE   ：  要写入的访问日志目录
--access-logformat STRING：要写入的访问日志格式
--error-logfile FILE, --log-file FILE  ：  要写入错误日志的文件目录。
--log-level LEVEL   ：   错误日志输出等级。
--limit-request-line INT   ：  HTTP请求头的行数的最大大小，此参数用于限制HTTP请求行的允许大小，默认情况下，这个值为4094。值是0~8190的数字。
--limit-request-fields INT   ：  限制HTTP请求中请求头字段的数量。此字段用于限制请求头字段的数量以防止DDOS攻击，默认情况下，这个值为100，这个值不能超过32768
--limit-request-field-size INT  ：  限制HTTP请求中请求头的大小，默认情况下这个值为8190字节。值是一个整数或者0，当该值为0时，表示将对请求头大小不做限制
-t INT, --timeout INT：超过这么多秒后工作将被杀掉，并重新启动。一般设定为30秒；
--daemon： 是否以守护进程启动，默认false；
--chdir： 在加载应用程序之前切换目录；
--graceful-timeout INT：默认情况下，这个值为30，在超时(从接收到重启信号开始)之后仍然活着的工作将被强行杀死；一般使用默认；
--keep-alive INT：在keep-alive连接上等待请求的秒数，默认情况下值为2。一般设定在1~5秒之间。
--reload：默认为False。此设置用于开发，每当应用程序发生更改时，都会导致工作重新启动。
--spew：打印服务器执行过的每一条语句，默认False。此选择为原子性的，即要么全部打印，要么全部不打印；
--check-config   ：显示现在的配置，默认值为False，即显示。
-e ENV, --env ENV： 设置环境变量；

方式二: 以配置文件的方式启动(推荐)

配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# gunicorn.py
# 并行工作进程数
workers = 4
# 指定每个工作者的线程数
threads = 2
# 监听内网端口5000
bind = '127.0.0.1:5000'
# 设置守护进程,将进程交给supervisor管理
daemon = 'false'
# 工作模式协程
worker_class = 'gevent'
# 设置最大并发量
worker_connections = 2000
# 设置进程文件目录
pidfile = '/var/run/gunicorn.pid'
# 设置访问日志和错误信息日志路径
accesslog = '/var/log/gunicorn_acess.log'
errorlog = '/var/log/gunicorn_error.log'
# 设置日志记录水平
loglevel = 'warning'

启动gunicorn
gunicorn -c gunicorn.py app:app

注意: 如果将gunicorn交给supervisor守护进程时, 需将daemon = 'false', 而不是true, 要不然会报错

nginx

处理外部请求, 并反向代理

当外部请求为:

  • 普通请求 -> 8001端口
  • /static/ -> /myproject/static

配置文件

采用最简单的反向代理到gunicorn服务器

1
2
3
4
5
6
7
8
9
10
11
12
13
# 其他块省略没写

upstream test{
    server 127.0.0.1:8001;  
}

server {
    listen 80;
    server_name localhost;
    location / {
    proxy_pass http://test;
	}
}

supervisor

使用前景:

  • gunicorn无法重启，关闭进程麻烦，因此还需要一个程序（如supervisor）来管理gunicorn，以达到自动化
  • 而supervisor是一个专门用来管理进程的工具，还可以管理系统的工具进程，甚至可设置web页面管理相关进程；

准备

  1. 安装
    pip install supervisor 安装后测试是否成功 echo_supervisord_conf

  2. 建立配置文件
    创建目录并赋予权限

    1
    2
    3
    4
    5
    mkdir -m 755 -p /etc/supervisor/
    cd /etc/supervisor/
    mkdir -m 755 conf.d
    // 将默认配置文件复制到新文件夹,之后指定新文件夹中的配置文件启动supervisor(方便管理和修改)
    echo_supervisord_conf > /etc/supervisor/supervisord.conf

    在conf.d 文件夹中创建配置文件如app.ini

    1
    2
    3
    4
    5
    [program:wsgi] ;
    directory=/root/book/book-flask ;
    command=gunicorn -c gunicorn.py app:app ;
    stdout_logfile=/root/wsgi_log/wsgi.log
    stderr_logfile=/root/wsgi_log/wsgi.err
    • directory: 脚本目录
    • command: 脚本执行命令
    • stdout_logfile: log日志
    • stderr_logfile: error日志

    注: 配置文件主打简洁干净, 尽量不要写备注, 每个冒号前要有空格, 要不然会报错

  3. 添加配置文件到主配置文件

    打开/etc/supervisor/supervisord.conf 文件，到最后一行可以看到

    1
    2
    ;[include]
    ;files = /relative/dictory/*.ini

    删除分号即可

启动

  1. 首先启动supervisord
1
supervisord -c /etc/supervisor/supervisord.conf
  1. 再启动我们的应用：
1
sudo supervisorctl start wsgi

常用命令

  • 关闭supervisor 命令

    1
    supervisorctl shutdown

  • 关闭程序

    1
    supervisorctl stop program_name

至此 supervisor + gunicorn + nginx + flask 服务启动介绍完毕，

  • flask 提供接口服务；
  • gunicorn启动flask服务，可进行多进程访问；
  • nginx监听请求反向代理;
  • supervisor管理程序，对程序进行启动、重启、关闭的操作简单化，程序异常关闭，还能自动重启；