Skip to main content

New Blog

代码人生:编织技术与生活的博客之旅

要求

  • 一亿数据 10*8
  • 测试用 5w 数据
  • 预测时间为 结果时间* 2000

设计思路

  • 程序执行 20 遍求平均值
  • 结束时间 - 开始时间
  • 不同 python 引擎
  • 不同数据量 然后 commit 提交 响应速度

数据库连接工具

  • MySQL-Python
  • pymysql
  • [X ] MySQL-Connector

代码

    #!/usr/bin/python3    
# encoding: utf-8
# @Time : 2018/7/14 0014 16:12
# @author : zza
# @Email : 740713651@qq.com
import time

from flask import Flask
from flask_sqlalchemy import SQLAlchemy

db = SQLAlchemy()

class Student(db.Model):
__tablename__ = "stu"
id = db.Column(db.Integer, primary_key=True, autoincrement=True, nullable=True)
name_ = db.Column(db.String(127))
age = db.Column(db.Integer)
class_num = db.Column(db.Integer)

def init(param):
class sqlalchemy(SQLAlchemy):

def __del__(self):
print("数据库关闭")
db.session.close_all()

app = Flask(__name__)
app.config['SQLALCHEMY_DATABASE_URI'] = param + "?charset=utf8&autocommit=False"
app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = True
app.config['SQLALCHEMY_POOL_SIZE'] = 128
app.config['SQLALCHEMY_POOL_TIMEOUT'] = 60
app.config['SQLALCHEMY_POOL_RECYCLE'] = 30
app.config['SQLALCHEMY_MAX_OVERFLOW'] = 128
# app.config['SQLALCHEMY_ECHO'] = True
global db
db = sqlalchemy(app)

def finish():
db.session.query(Student).delete()
db.session.commit()

def time_me(fn):
def _wrapper(*args, **kwargs):
average = 0
i1 = 30
seconds = 0
for i in range(i1):
start = time.time()
fn(*args, **kwargs)
seconds = time.time() - start
average += seconds
finish()
print(u"{func}函数写入耗时{sec}秒".format(func=fn.__name__, sec=seconds))
# print(u"{func}函数每{count}条数数据写入耗时{sec}秒".format(func=fn.__name__, count=args[0], sec=seconds))
# finish()
return seconds, args

return _wrapper

@time_me
def insert_many():
# 插入诗句
all = 5 * 10 ** 4
inner = 1000
out = int(all / inner)
for i in range(out):
for c in range(inner):
db.session.add(Student(name_='test mysql insert', age=30, class_num=30))
db.session.commit()

######
@time_me
def insert_many_by_sql():
all = 5 * 10 ** 4
inner = 1000
out = int(all / inner)
with db.session.connection() as con:
for i in range(out):
for c in range(inner):
con.execute(
"INSERT INTO stu ( id ,name_, age, class_num) VALUES (null ,{}, {},{})".format(
"'test2mysql3insert'",
30, 30))
db.session.commit()

def main2():
"""测试 sql 语句与 orm 框架 谁快 包括数据组装"""
init("mysql+pymysql://root:root@192.168.14.147:3306/efficiency_test")
print("orm 框架插入数据")
# iinsert_many 函数每 500 条数数据写入耗时 19.671629905700684 秒
insert_many()
print("sql 语句插入数据")
# insert_many_by_sql 函数每 500 条数数据写入耗时 17.977628707885742 秒
insert_many_by_sql()
pass

def main():
print('测试开始')
# insert_many 函数写入耗时 168.07286262512207 秒
init("mysql+mysqlconnector://root:root@192.168.14.147:3306/efficiency_test")
insert_many()

# insert_many 函数写入耗时 64.85304117202759 秒
init("mysql://root:root@192.168.14.147:3306/efficiency_test") # 默认使用 MySQLdb
insert_many()

# insert_many 函数写入耗时 64.692676067352295 秒
init("mysql+pymysql://root:root@192.168.14.147:3306/efficiency_test")
insert_many()

# insert_many 函数写入耗时 66.991496086120605 秒
init("mysql+mysqldb://root:root@192.168.14.147:3306/efficiency_test")
insert_many()

if __name__ == '__main__':
main()
main2()

Python2 min read

项目创建使用 cookiecutter

使用以下命令创建项目

pip install cookiecutter 
cookiecutter https://github.com/AngusWG/cookiecutter-py-package.git

版本统一由 git + tag (versioneer) 管理 在项目用 setup.py 打包时 versioneer 会根据最近的 tag 标签 放入对应版本号


养成 format 代码习惯

2.1 format code 快捷键 Ctrl + Alt + L
2.2 format import 快捷键 Ctrl + Alt + O


每个项目需要都有单元测

单元测试的入口统一是 Makefile 中的 make check 方便运维建立统一的 CICD


项目需要打包到 pypi 上

4.1 测试 pypi pypi_dev 用于发测试版本包

4.2 正式 pypi pypi_st 用于发正式版本号 此 pypi 上的包 只能是纯数字版本号 不能有 + or dev 字样 正则为 /d+./d+./d+


commit 时自动检查

  • git hook 是指在对应 git 动作中触发的脚本
  • pre-commit 指在提交commit 前触发的动作

以下命令将设置一个默认 pre-commit 在当前项目下有Makeflie的情况下 执行make check命令

python -c "from urllib.request import urlopen ;exec(urlopen('https://github.com/AngusWG/cookiecutter-py-package/raw/master/git_pre_commit_hook.py').read())"
  • make 命令在 windows 上使用 需要安装 cygwin

Cygwin 安装

安装时选择 Make。 并将 cygwin 的 bin 目录加到 windows 环境变量中,为了避免冲突,请尽量让 Cygwin 保持在环境变量第一条。 image.png image.png


编程2 min read

https://segmentfault.com/a/1190000012634779

        location /socket.io {    
proxy_pass http://rqpro_socketio;
proxy_http_version 1.1;
proxy_set_header upgrade $http_upgrade;
proxy_set_header connection $connection_upgrade;
proxy_set_header x-real-ip $remote_addr;
proxy_set_header x-forwarded-for $proxy_add_x_forwarded_for;
proxy_set_header host $http_host;
proxy_set_header x-nginx-proxy true;
proxy_set_header Origin "";
proxy_read_timeout 86400;
}
随笔One min read

sql 大概是这个样子

select booking_id from booking where concat(num, ',' , name) in ('1,name1', '2,name2', '3,name3')

用sqlalchemy 实现

_list_data = ['1,name1', '2,name2', '3,name3']    
session.query(Booking.booking_id).filter(Booking.num.concat(",").concat(Booking.name).notin_(_list_data))

PythonOne min read

安装

pip install shadowsocks cd /etc/ vim /etc/shadowsocks.json

贴贴下面的配置:

    

{
"server":"0.0.0.0",
"server_port":8381,
"local_address": "127.0.0.1",
"local_port":1080,
"password":"a123456",
"timeout":300,
"method":"aes-256-cfb",
"fast_open": true,
"workers": 1
}

开启

sudo ssserver -c /etc/shadowsocks.json -d start

开机自启

考虑到如果VPS被重启(实际上只会你自己重启……),所以我们将shadowsocks加入开机启动项,配置如下:

vim /etc/rc.local

  • 然后在exit 0之前加入

sudo ssserver -c /etc/shadowsocks.json -d start

  • 然后重启VPS:

sudo reboot now

  • 重启后查看进程:

ps aux | grep shadowsocks

如果shadowsocks正常运行,表明设置成功。


  • 停止服务用

  • sudo ssserver -c /etc/shadowsocks.json -d stop

  • 日志 tailf /var/log/shadowsocks.log

https://www.cnblogs.com/Eason1024/p/8177665.html

编程One min read

Ubuntu

安装

  • 打开开发者模式(可选) 设置菜单 - 更新和安全 - 开发者选项 - 选择开发者模式。 image.png

  • 打开适用于linux的windows子系统 设置菜单 - 应用和功能 - 程序和功能 - 启动或者关闭windows功能 - 适用于linux的windows子系统 - 打勾 - 重启电脑 image.png

  • 安装ubuntu 在Mirosoft store中搜索linux,然后点击获取这些应用,将会看到列举的各种linux系统,这里我选着了ubuntu,点击安装即可。 image.png

  • 使用 安装完后,cmd输入 ubuntu 进入ubuntu系统,主要会要求设置帐号密码 image.png

cmder

  • 好看
  • 右键贴贴
  • 大量的 linux 命令:grep, vim, grep, tar, unzip, ssh, ls, bash, perl, curl(没有 wget)

安装 Cmder官网下载,解压可用。

  • 把 cmder 加到环境变量

可以把Cmder.exe存放的目录添加到系统环境变量;加完之后,Win+r一下输入cmder,即可。

  • 添加 cmder 到右键菜单]

在某个文件夹中打开终端, 这个是一个(超级)痛点需求, 实际上上一步的把 cmder 加到环境变量就是为此服务的, 在管理员权限的终端输入以下语句即可:Cmder.exe /REGISTER ALL

* zsh 安装

docker(https://www.jianshu.com/p/d1b2b4240256)

windows包

用windows环境开发,需要一些环境去编译包,可以考虑直接现成已编译好的。

https://www.lfd.uci.edu/~gohlke/pythonlibs/

右键复制

shift + 鼠标右键 选择复制路径 image.png * 设置默认出现 复制路径选项

开发相关

windows 访问 ubuntu

\\wsl$\Ubuntu\home image.png

ubuntu 访问 windows

挂载在/mnt/image.png 推荐使用软连接 连接到Windows需要的组件

  • cmder在Ubuntu中右键贴贴时自动补齐 /mnt/c/...

pycharm中使用Ubuntu的python

  • pycharm 配置python环境

image.png

  • 可以看到ubuntu的实际目录如下 C:\Users\74071\AppData\Local\Packages\CanonicalGroupLimited.UbuntuonWindows_79rhkp1fndgsc\LocalState\rootfs\usr\bin

  • 也可以连接服务器解释器 pycahrm会开启一个File Transfer的窗口(自动同步) image.png image.png

cmd中启动环境(比较麻烦 推荐cmder再开一个) image.png

pycharm 远程环境

  • 配置方式 image.png
  • 本质上是将文件传到服务器/tmp下进行工作 image.png
随笔2 min read

  • windows cmd 下 找到 python 与 pip 文件存放地址
λ  where.exe python    
D:\Python36\python.exe

λ where.exe pip
D:\Python36\Scripts\pip.exe
  • windows 自带 ubuntu 下 (Windows 系统盘符存在/mnt/中)
:~$ sudo ln -s /mnt/d/Python36/Scripts/pip.exe /usr/bin/wpip    
:~$ sudo ln -s /mnt/d/Python36/python.exe /usr/bin/wpython
PythonOne min read

安装

下载地址

  • 我的 windows 上装了 wsl2
  • 默认点下一步就好了

image.png

安装完成后顺手设置 P...

image.png

ps. wsl telnet 127.0.0.1 9999 失败 我改成了本机 ip

非常的智能。


试玩

在 docker 网站上下个 python 镜像 玩玩

docker pull python:3.8

image.png

docker run --name docker-tutorial python:3.8 python -c "print('Hello, World!')"    
docker rm docker-tutorial
docker run --name docker-tutorial python:3.8 python -c "import os;print(os.listdir('.'))" -v $PWD:/usr/src/myapp -w /usr/src/myapp
docker rm docker-tutorial

-v $PWD/myapp:/usr/src/myapp: 将主机中当前目录下的 myapp 挂载到容器的 /usr/src/myapp。 -w /usr/src/myapp: 指定容器的 /usr/src/myapp 目录为工作目录。


安装 python 环境并保存

docker run --name  -it jupyter-dev python:3.8 bash     
pip config set global.index-url https://pypi.douban.com/simple
pip install jupyter
exit
docker ps -a
docker commit jupyter-dev jupyter-dev:version1
docker images
docker run -d -p 8888:8888 --restart=always --name jupyter jupyter-dev:version1 jupyter-notebook --ip='*' --port=8888 --allow-root --no-browser --NotebookApp.token=''

image.png

image.png

关闭

docker stop jupyter    
docker rm jupyter


pycharm

配置 python 解释器

image.png

不过已经可以愉快的 debug 了

image.png


kubectl

先装个命令补全

echo "source <(kubectl completion zsh)" >> ~/.zshrc    
source ~/.zshrc

找到你想连接的 kubectl 集群的配置文件 比如我的在服务器上

rsync -avz root@192.168.20.65:/root/.kube/config /root/.kube/config    
rsync -avz root@192.168.20.65:/root/.minikube/ca.crt /root/.minikube/ca.crt
rsync -avz root@192.168.20.65:/root/.minikube/profiles/minikube/client.crt /root/.minikube/profiles/minikube/client.crt
rsync -avz root@192.168.20.65:/root/.minikube/profiles/minikube/client.key /root/.minikube/profiles/minikube/client.key
  • 然后kubectl get pods 你就会发现都在你本机上看得到了

  • 然后就可以获取一个项目的配置文件,然后启动。

    • kubectl get pods contest-jiantou-64b9cd5597-kvbjp -o yaml

编程2 min read

  • 有多好用。.. 自行百度

image.png

SH 安装脚本

命令不是打错了 相同命令确实需要运行两遍

export http_proxy="http://192.168.100.228:9999"
export https_proxy="http://192.168.100.228:9999"

sudo sh -c "$(curl -fsSL https://github.com/AngusWG/river-zsh-config/raw/master/install.sh)"
sh -c "$(curl -fsSL https://github.com/AngusWG/river-zsh-config/raw/master/install.sh)"
source ~/.zshrc

自动安装

  • zsh
  • oh my zsh
  • 彩色命令
  • 历史提示

sh 脚本所属 github 项目

image.png


  • bug 修复
  • 执行第三步的时候会报错
  • 需要去修改下文件

image.png

image.png

  • 注释红色的这一行
编程One min read