代码文思

YoloV8目标检测模型训练

Sat, 14 Sep 2024 10:17:16 +0800

代码文思 /post/yolov8/ -

图片标注

使用label-studio进行标注。

模型训练

从 Git 克隆代码
准备数据集

# 将label studio导出的yolo格式数据集，用handle_train_data.py切分

# 数据集目录
# xxxx-20240914             // 数据标注根目录
# ├─train                 // 训练集用于模型的学习和训练
# | ├─images              // 图片存放目录
# | └─labels              // 标注结果存放目录
# ├─val                   // 验证集用于模型的调优和验证，避免过拟合
# | ├─images              // 图片存放目录
# | └─labels              // 标注结果存放目录
# ├─test                  // 测试集用于模型的最终评估，衡量其在真实环境中的性能
# | ├─images              // 图片存放目录
# | └─labels              // 标注结果存放目录
# └─data.yaml             // 数据集配置

# data.yaml配置：
path: xxxx-20240914  # dataset root dir  
train: train  # train images (relative to 'path') 118287 images  
val: val  # val images (relative to 'path') 5000 images  
test: test  # 20288 of 40670 images, submit to   
  
# Classes  
nc: 2  # number of classes  
names: [
'class1',
'class2'
]

修改训练参数并启动训练

# 修改train.py
# 主要修改以下几个，其余根据需要修改

# 修改为训练集文件夹名称
data_name = 'xxxx-20240914' 

# 首次训练则启用行
model = YOLO('models/yolov8x.pt')

# 二次训练则启用行
model = YOLO(f'runs/train/train-{data_name}{train_idx}/weights/best.pt')
# 修改从哪次结果继续训练，首次为空
train_idx = '2'

# 如需随机角度内旋转数据增强则修改
degrees=100

启动训练

python train.py

模型测试

# 修改test.py
# 主要修改以下几个，其余根据需要修改

# 修改为训练集文件夹名称
data_name = 'xxxx-20240914' 

# 修改从哪次结果测试，第一次为空
train_idx = '2'

# 修改为第几次测试结果，第一次为空
detect_idx = '2'

原链接：YoloV8目标检测模型训练

- /post/yolov8/ - By liusanp.

zerotier配置节点内网互联

Tue, 26 Sep 2023 15:36:48 +0800

代码文思 /post/zerotier-nat/ -

zerotier配置节点内网互联

网络三层NAT配置方法（linux主机）

假设zerotier虚拟局域网的网段是192.168.88.0 局域网A 192.168.1.0 局域网B 192.168.2.0
(如果需要互联)在局域网A和B中需要各有一台主机安装zerotier并作为两个内网互联的网关
分别是192.168.1.10（192.168.88.10） 192.168.2.10（192.168.88.20）#括号里面为虚拟局域网的IP地址

在zerotier网站的networks里面的Managed Routes下配置路由表,增加如下内容

#如果单向连接,仅需填写下方一个即可.

192.168.1.0/24 via 192.168.88.10 
192.168.2.0/24 via 192.168.88.20

开启内核转发

#echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
#sysctl -p

防火墙设置

# 其中的 zt7nnig26 在不同的机器中不一样，你可以在路由器ssh环境中用 zerotier-cli listnetworks 或者 ifconfig 查询zt开头的网卡名
PHY_IFACE=eth0; ZT_IFACE=zt7nnig26
sudo iptables -t nat -A POSTROUTING -o $PHY_IFACE -j MASQUERADE
sudo iptables -A FORWARD -i $PHY_IFACE -o $ZT_IFACE -m state --state RELATED,ESTABLISHED -j ACCEPT
sudo iptables -A FORWARD -i $ZT_IFACE -o $PHY_IFACE -j ACCEPT
# 保存配置到文件，否则重启规则会丢失
iptables-save

原链接：zerotier配置节点内网互联

- /post/zerotier-nat/ - By liusanp.

自建zerotier-planet

Tue, 26 Sep 2023 14:49:56 +0800

代码文思 /post/zerotier/ -

自建zerotier-planet

必要条件

具有公网ip的服务器
安装 docker
安装 docker-compose
防火墙开放TCP端口 4000/9993/3180 和UDP端口 9993

用法

部署ztncui

version: '2.0'
services:
    ztncui:
        container_name: ztncui
        restart: always
        environment:
            - MYADDR=1.1.1.1 #改成自己的服务器公网IP
            - HTTP_PORT=4000
            - HTTP_ALL_INTERFACES=yes
            - ZTNCUI_PASSWD=password #默认用户admin的密码
        ports:
            - '4000:4000' # web控制台入口
            - '9993:9993'
            - '9993:9993/udp'
            - '3180:3180' # planet/moon文件在线下载入口，如不对外提供。可防火墙禁用此端口。
        volumes:
            - './zerotier-one:/var/lib/zerotier-one'
            - './ztncui/etc:/opt/key-networks/ztncui/etc'
            # 按实际路径挂载卷， 冒号前面是宿主机的， 支持相对路径
        image: keynetworks/ztncui

创建planet和moon

git clone https://github.com/Jonnyan404/zerotier-planet
OR
git clone https://gitee.com/Jonnyan404/zerotier-planet

cd zerotier-planet
docker cp mkmoonworld-x86_64 ztncui:/tmp
docker cp patch.sh ztncui:/tmp
docker exec -it ztncui bash /tmp/patch.sh
docker restart ztncui

浏览器访问 http://ip:4000 打开web控制台界面。

浏览器访问 http://ip:3180 打开planet和moon文件下载页面（亦可在项目根目录的./ztncui/etc/myfs/里获取）。

用户名:admin
密码:password

note: 如果未指定密码,可执行 docker exec -it ztncui cat /var/log/docker-ztncui.log|grep Password 获取密码.

各客户端配置planet

客户端主要为Windows, Mac,Linux, Android

Windows 客户端

先安装官方zerotier客户端，将生成的 planet 文件覆盖粘贴到 C:\ProgramData\ZeroTier One 中(这个目录是个隐藏目录，需要运允许查看隐藏目录才行)，然后重启zerotier-one服务。使用管理员身份打开PowerShell 执行命令加入组网，看到join ok字样就成功了。

PS C:\Windows\system32> zerotier-cli join 网络id(就是在网页里面创建的那个网络)
200 join OK
PS C:\Windows\system32>

登录管理后台可以看到有个新的客户端，勾选Authorized授权接入。查看连接情况：

PS C:\Windows\system32> zerotier-cli peers
200 peers
<ztaddr>   <ver>  <role> <lat> <link> <lastTX> <lastRX> <path>
fcbaeb9b6c 1.8.7  PLANET    52 DIRECT 16       8994     1.1.1.1/9993
fe92971aad 1.8.7  LEAF      14 DIRECT -1       4150     2.2.2.2/9993
PS C:\Windows\system32>

可以看到有一个 PLANTET 和 LEAF 角色，连接方式均为 DIRECT(直连)，到这里就加入网络成功了。

Linux 客户端

安装linux客户端软件 curl -s https://install.zerotier.com | sudo bash
进入目录 /var/lib/zerotier-one，替换目录下的 planet 文件
重启 zerotier-one 服务(systemctl restart zerotier-one)
加入网络 zerotier-cli join 网络 id
管理后台同意加入请求
zerotier-cli peers 可以看到 planet 角色

安卓客户端配置

ZerotierFix Zerotier 非官方安卓客户端发布：支持自建 Moon 节点 - V2EX

私有 zerotier-planet 的优势:

解除官方 25 的设备连接数限制
提升手机客户端连接的稳定性

Reference Link

原链接：自建zerotier-plant

- /post/zerotier/ - By liusanp.

使用label-studio进行图片标注

Thu, 21 Sep 2023 16:35:30 +0800

代码文思 /post/label-studio/ -

使用label-studio进行图片标注

使用label-studio进行标注。

1、创建项目

2、配置项目

2.1、打开项目

2.2、打开配置

2.3、选择标注类型

2.4、选择目标检测类型

2.5、添加标签

3、导入图片

3.1、打开导入框

3.2、选择图片并导入

4、标注图片

4.1、选择图片

4.2、标注图片

5、导出结果

5.1、选择已标注图片

5.2、选择导出格式并导出

原链接：使用label-studio进行图片标注

- /post/label-studio/ - By liusanp.

YoloV5目标检测模型训练

Thu, 21 Sep 2023 16:30:51 +0800

代码文思 /post/yolov5/ -

YoloV5目标检测模型训练

图片标注

使用labelimg进行图片标注

# 安装
pip install labelimg

# 启动（在image_root目录启动）
# image_root              // 数据标注根目录
# ├─images                // 图片存放目录
# ├─labels                // 标注结果存放目录
# └─labels.txt            // 预加载标签，一行一个

labelimg images labels.txt

模型训练

以yolov5-7.0为例

1、从GitHub下载zip包或者克隆代码

2、准备数据集

# 数据集目录
# image_root              // 数据标注根目录
# ├─train                 // 训练集
# | ├─images              // 图片存放目录
# | └─labels              // 标注结果存放目录
# ├─val                   // 验证集
# | ├─images              // 图片存放目录
# | └─labels              // 标注结果存放目录
# └─data.yaml             // 数据集配置

data.yaml配置：

path: data/image_root  # dataset root dir  
train: train  # train images (relative to 'path') 118287 images  
val: val  # val images (relative to 'path') 5000 images  
# test: test-dev2017.txt  # 20288 of 40670 images, submit to   
  
# Classes  
nc: 2  # number of classes  
names: [
'class1',
'class2'
]

3、下载模型

从Github releases下载预训练模型，可根据需要选择模型大小：yolov5s.pt、yolov5m.pt、yolov5l.pt、yolov5x.pt。将下载好的模型放在yolov5源码的models目录中，然后将选择的模型对应yaml文件中的nc修改为自己的分类数。

4、修改训练参数并启动训练

# 修改train.py中的parse_opt()函数
# 主要修改以下几个，其余根据需要修改
def parse_opt(known=False):  
	# 初始模型权重
    parser.add_argument('--weights', type=str, default=ROOT / 'models/yolov5m.pt', help='initial weights path')  
    # 模型配置
    parser.add_argument('--cfg', type=str, default=ROOT / 'models/yolov5m_2.yaml', help='model.yaml path')  
    # 训练数据集配置
    parser.add_argument('--data', type=str, default='image_root/data.yaml', help='dataset.yaml path')  
    # 超参配置
    parser.add_argument('--hyp', type=str, default=ROOT / 'data/hyps/hyp.scratch-low.yaml', help='hyperparameters path')  
    # 训练迭代数
    parser.add_argument('--epochs', type=int, default=100, help='total training epochs')  
    # 训练批次大小
    parser.add_argument('--batch-size', type=int, default=12, help='total batch size for all GPUs, -1 for autobatch')

5、根据训练结果修改超参

lr0: 0.01  # initial learning rate (SGD=1E-2, Adam=1E-3)  
lrf: 0.001  # final OneCycleLR learning rate (lr0 * lrf)

模型预测

使用detect.py预测

原链接：YoloV5目标检测模型训练

- /post/yolov5/ - By liusanp.

编译arm64平台WebRTC

Tue, 06 Dec 2022 18:23:34 +0800

代码文思 /post/compile-arm64-webrtc/ -

前置软件

1、安装Chromium depot tools①

# 拉取源码
git clone https://chromium.googlesource.com/chromium/tools/depot_tools.git
# 添加环境变量
echo "export PATH=$PWD/depot_tools:$PATH" > ~/.bashrc
source ~/.bashrc

2、执行安装编译依赖脚本②，该脚本需要在第一次同步代码后才有

./build/install-build-deps.sh

3、执行下载编译环境脚本②，该脚本需要在第一次同步代码后才有

./build/linux/sysroot_scripts/install-sysroot.py --arch=arm64

4、安装编译器

sudo apt-get install binutils-aarch64-linux-gnu
sudo apt-get install gcc-aarch64-linux-gnu g++-aarch64-linux-gnu

编译

1、拉取源码③，后执行前置软件2和3

mkdir webrtc-checkout
cd webrtc-checkout
fetch --nohooks webrtc
gclient sync

2、切换到主分支

cd src
git checkout main

3、生成编译文件（执行其中一个）

# 参照④
gn gen out/Linux-arm64 --args="target_os=\"linux\" target_cpu=\"arm64\" is_debug=false rtc_include_tests=false rtc_use_h264=false is_component_build=false use_rtti=true use_custom_libcxx=false rtc_enable_protobuf=false"

# 参照⑤
gn gen out/Linux-arm64 --args="target_os=\"linux\" target_cpu=\"arm64\" is_debug=false rtc_include_tests=false rtc_use_h264=true is_component_build=false use_rtti=true use_custom_libcxx=false rtc_enable_protobuf=false is_clang=false treat_warnings_as_errors=false use_ozone=true rtc_include_pulse_audio=false use_libjpeg_turbo=false use_system_libjpeg=true"

4、编译③

autoninja -C out/Linux-arm64

引用

原链接：编译arm64平台WebRTC

- /post/compile-arm64-webrtc/ - By liusanp.

UE5在Windows打包Linux项目

Mon, 05 Dec 2022 20:40:21 +0800

代码文思 /post/ue-package-linux/ -

1、在官网下载交叉编译工具链：https://docs.unrealengine.com/5.0/zh-CN/linux-development-requirements-for-unreal-engine/

2、默认安装后在 cmd 中输入 %LINUX_MULTIARCH_ROOT%x86_64-unknown-linux-gnu\bin\clang++ -v 测试是否安装成功

3、重启ue5

4、刷新平台状态

5、如果打包平台前出现Linux图标，则已经可以打包Linux项目

6、选择对应平台打包

原链接：UE5在Windows打包Linux项目

- /post/ue-package-linux/ - By liusanp.

Linux设置系统代理

Sun, 04 Dec 2022 00:05:08 +0800

代码文思 /post/linux-system-proxy/ -

# 设置代理
export http_proxy=http://127.0.0.1:20172
export HTTP_PROXY=http://127.0.0.1:20172

export https_proxy=http://127.0.0.1:20172
export HTTPS_PROXY=http://127.0.0.1:20172

export all_proxy=socks5h://127.0.0.1:20173
export ALL_PROXY=socks5h://127.0.0.1:20173

export no_proxy=localhost,127.0.0.0/8,::1
export NO_PROXY=localhost,127.0.0.0/8,::1

# 查看代理
echo $http_proxy

# 取消代理
unset http_proxy
unset HTTP_PROXY
unset https_proxy
unset HTTPS_PROXY
unset all_proxy
unset ALL_PROXY
unset no_proxy
unset NO_PROXY


# git设置代理
git config --global http.proxy 'socks5://127.0.0.1:1080'
git config --global https.proxy 'socks5://127.0.0.1:1080'
# git取消代理
git config --global --unset http.proxy
git config --global --unset https.proxy

原链接：Linux设置系统代理

- /post/linux-system-proxy/ - By liusanp.

Anaconda3

Sun, 10 Jul 2022 17:28:13 +0800

代码文思 /post/anaconda3/ -

# 不自启动base，linux环境安装完成后会自动启动默认base环境 
conda config --set auto_activate_base false 
# 切换环境 
conda activate 环境名 
# 创建一个名为test的环境并指定python版本为3(的最新版本)，也可指定详细python版本 
conda create -n test python=3 
conda create -n test python=3.7 
# 复制环境 
conda create -n 新环境名 --clone 旧环境名 
# 列出conda管理的所有环境 
conda env list 
# 列出当前环境的所有包 
conda list 
# 安装python包时要先切换到具体环境 
# conda方式安装python包 -i 指定源 
conda install requests 
# pip方式安装python包 -i 指定源 -r 指定requirements.txt 
pip install requests 
# conda方式卸载requets包 
conda remove requests 
# pip方式卸载requets包 
conda remove requests 
# 删除test环境及下属所有包 
conda remove -n test --all 
# 更新requests包 
conda update requests 
# 导出当前环境的包信息 
conda env export > environment.yaml 
# 用配置文件创建新的虚拟环境 
conda env create -f environment.yaml

# 生成requirements.txt
# 安装pipreqs
pip install pipreqs
# 在当前目录生成
pipreqs . --encoding utf8 --force

# 创建虚拟环境
mkvirtualenv -p python3.7 venvname
# 切换虚拟环境
workon venvname

# 查看conda信息
conda info
conda info --envs

# 安装失败断掉
# 清楚缓存
conda clean --all
# 本地安装
conda install --use-local ./pytorch-1.10.1.tar.bz2

# 切换windows位数
# 打包为exe的话，版本尽量选择python3.6+32位版本，因为win64位系统向下兼容32位程序，
# 但是如果不考虑32位系统的话无所谓，直接python64位版本直接打包，只是只能在win64位系统上跑。
# 从64位切换到32位开发模式: 
set CONDA_FORCE_32BIT=1
# 再切回64位开发模式: 
set CONDA_FORCE_32BIT=0


pip清华源
https://pypi.tuna.tsinghua.edu.cn/simple

原链接：Anaconda3

- /post/anaconda3/ - By liusanp.

ES深度分页

Sun, 26 Jun 2022 11:59:58 +0800

代码文思 /post/es%E6%B7%B1%E5%BA%A6%E5%88%86%E9%A1%B5/ -

ES分页查询有三种情况：

from + size

从各分片查询（from + size）条，合并后取（from - size）条注：（from+size）不能超过 max_result_window，默认10000条

scroll

不适合实时查询，用于查询大批量数据遍历，游标过期会报错所有结果缓存，类似查询时间点快照，用游标遍历不能聚合，只有最初的查询有聚合结果最佳排序是 _doc 入库时间返回结果最大条数是size * 分片数

search_after

正常查询后，将前一次查询的最后一条数据的sort放置在search_after字段查询实时查询，排序可能会变更，并行滚动多个查询只能一页页下翻

原链接：ES深度分页

- /post/es%E6%B7%B1%E5%BA%A6%E5%88%86%E9%A1%B5/ - By liusanp.