Posted on

📝记录一下使用1panel作为服务器管理面板，之前基本是使用手搓命令构建服务，了解过宝塔面板，感觉太过臃肿且需要注册账户，后续考虑服务部署都是用1panel面板进行操作。

官方文档：https://1panel.cn/docs/

一、产品介绍

1Panel 是一个现代化、开源的 Linux 服务器运维管理面板。
UI展示

二、安装部署

  1. Ubuntu安装：
1
curl -sSL https://resource.fit2cloud.com/1panel/package/quick_start.sh -o quick_start.sh && sudo bash quick_start.sh

image-20250115134821023

  1. 通过访问地址和面板用户密码进行登录

三、功能使用

  1. 前端页面创建网址后选择静态网址进行配置，后台选择反向代理

image-20250115140517787

  1. 通过网址设置配置HTTPS和设置NGINX

图像_副本

四、计划任务

可以通过linux定时任务自动执行shell等脚本命令

截屏2025-01-15 14.16.51

Posted on

禅道项目管理工具提供了丰富的功能模块，包括任务管理、需求管理、Bug跟踪、版本控制、团队协作、项目报表等，这些功能覆盖了项目管理的各个方面。全面的功能模块使得项目团队可以在一个统一的平台上进行协同工作，无需再整合多个系统，从而提高了工作效率。

公司使用禅道来管理项目需求、进度以及Bug测试，新版禅道添加了很多功能，这里我搭建使用的是老版本12.5.3。

Docker拉取禅道镜像

1
docker pull idoop/zentao:12.5.3

image-20241016134837422

运行禅道容器

1
2
3
4
5
docker run --privileged=true -d -p 8082:80 -p 3316:3306 \
        -e ADMINER_USER="admin" -e ADMINER_PASSWD="123456" \
        -v /dockerdatafile/chandao/:/opt/zbox/ \
        --name zentao-server \
        idoop/zentao:12.5.3

参数说明：

  • ADMINER_USER：指定禅道管理员账号

  • ADMINER_PASSWD：指定禅道管理员首次登录密码

访问禅道

浏览器访问宿主机器地址加8082端口，登录使用用户名 admin，密码 123456

image-20241016135156614

使用1Panel创建网站

可通过域名进行访问

image-20241016135651301

Posted on

问题解释：

在使用pandas转换DataFrame到JSON格式时，如果DataFrame中含有中文字符，可能会遇到无法正确显示中文的问题。这通常是因为默认情况下，pandas会将字符串编码为Unicode Escape形式，这不是JSON的标准格式，而是Python内部的表现形式。

解决方法：

  1. 在转换为JSON之前，确保DataFrame的编码是正确的，通常使用UTF-8编码。

  2. 使用to_json方法时，设置参数ensure_ascii=False，这样可以避免ASCII编码的问题，正确显示中文。

示例代码：

1
2
3
4
5
6
7
8
9
10
11
import pandas as pd

# 创建一个包含中文的DataFrame

df = pd.DataFrame({'data': ['中文内容', '更多中文', '最后一条']})

# 转换为JSON，确保使用utf-8编码，并且不使用ASCII编码

json_str = df.to_json(orient='records', force_ascii=False)

print(json_str)

这段代码会创建一个包含中文的DataFrame，并将其转换为JSON格式，正确显示中文字符。

Posted on

在使用第三方托管网站做个人网站，例如：Github Pages，想要给网站加上https，可以通过ohttps来创建Let’s Encrypt的https证书，单纯想给网站加上https也可以。

安装Nginx

先确保服务器(我这里是win服务器)已经安装了nginx，选择适合自己的版本，然后下载解压到服务器上，双击运行nginx.exe，访问服务器ip地址，出现Welcome to Nginx!则表示安装启动成功。

使用ohttps部署ssl证书

  1. 创建证书

image-20240812124550577

  1. 需要在自己域名管理解析中加入ohttps的记录

image-20240812124657919

  1. 在nginx配置中需要ssl_certificate_key和ssl_certificate

ssl_certificate_key: 私钥文件通常包含与SSL证书配对的私钥，用于加密和解密通信中的数据，文件后缀.key，内容开头—–BEGIN RSA PRIVATE KEY—–

ssl_certificate: SSL证书文件包含用于验证服务器身份的公钥以及相关信息，如服务器的域名和证书颁发机构（CA）的签名，文件后缀为.crt或者是.pem，内容开头—–BEGIN CERTIFICATE—–

image-20240812125505357

下载这两个文件，然后存放到服务器上

配置Nginx.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
worker_processes  1;

events {
    worker_connections  1024;
}


http {
    server_names_hash_bucket_size 64;
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;

    keepalive_timeout  65;

    #gzip  on;

    server {
        listen 443 ssl;
        server_name wechat.ruiyeclub.cn;

        ssl_certificate      绝对路径/key/fullchain.pem;
        ssl_certificate_key  路径/key/cert.key;
        ssl_session_cache    shared:SSL:1m;
        ssl_session_timeout  5m;
        ssl_ciphers  HIGH:!aNULL:!MD5;
        ssl_prefer_server_ciphers  on;

        location / {
            proxy_pass http://localhost:8080;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
        }
    }

    server {
        listen 80;
        server_name wechat.ruiyeclub.cn;

        ssl_certificate      绝对路径/key/fullchain.pem;
        ssl_certificate_key  路径/key/cert.key;
        ssl_session_cache    shared:SSL:1m;
        ssl_session_timeout  5m;
        ssl_ciphers  HIGH:!aNULL:!MD5;
        ssl_prefer_server_ciphers  on;

        location / {
            proxy_pass http://localhost:8080;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
        }
    }
}

Nginx常用命令

  • 启动Nginx服务 nginx

  • 停止Nginx服务 nginx -s stop

  • 检测配置文件的正确性 nginx -t

  • 重新加载Nginx配置文件 nginx -s reload

  • 查看Nginx版本信息 nginx -v

  • 平滑停止Nginx服务 nginx -s quit

Posted on

在SpringBoot项目中配置Redis的过期提醒，通过修改redis.conf或命令行设置notify-keyspace-events，并创建自定义的Redis消息监听器来处理过期事件。

一、开启Redis key过期提醒

  • 方式一：修改redis.conf配置文件
1
2
# 默认 notify-keyspace-events ""
notify-keyspace-events Ex
  • 方式二：命令行开启
1
2
CONFIG SET notify-keyspace-events Ex
CONFIG GET notify-keyspace-events

二、项目导入redis依赖

1
2
3
4
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

三、配置config配置类

1
2
3
4
5
6
7
8
9
10
@Configuration
public class RedisListenerConfig {

	@Bean
	RedisMessageListenerContainer container(RedisConnectionFactory connectionFactory) {
		RedisMessageListenerContainer container = new RedisMessageListenerContainer();
		container.setConnectionFactory(connectionFactory);
		return container;
	}
}

四、配置监听代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
@Slf4j
@Component
public class KeyExpiredListener extends KeyExpirationEventMessageListener {

    public KeyExpiredListener(RedisMessageListenerContainer listenerContainer) {
        super(listenerContainer);
    }

    @Override
    public void onMessage(Message message, byte[] pattern) {
        String channel = new String(message.getChannel(), StandardCharsets.UTF_8);
        // 过期的key
        String key = new String(message.getBody(), StandardCharsets.UTF_8);
        log.info("redis key 过期：pattern={},channel={},key={}", new String(pattern), channel, key);
        if (key.equals(INVEST_WS_EXPIRED_KEY)) {
            // 处理业务逻辑...
        }
    }
}

Posted on

NVM（Node Version Manager）是一个用于在基于Linux系统上安装和管理Node.js的shell脚本。macOS用户可以使用homebrew来安装NVM。

安装Homebrew（如果你还没有安装）：

1
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  1. 卸载现有node版本

如果你的系统已经安装了node，请先卸载它。

1
2
brew uninstall --ignore-dependencies node 
brew uninstall --force node
  1. 使用Homebrew安装nvm：
1
brew install nvm
  1. 将nvm初始化脚本添加到你的shell配置文件中。如果你使用的是zsh，那么你需要在你的~/.zshrc文件中添加以下行：
1
2
export NVM_DIR="$([ -z "${XDG_CONFIG_HOME-}" ] && printf %s "${HOME}/.nvm" || printf %s "${XDG_CONFIG_HOME}/nvm")"
[ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh" # This loads nvm
  1. 使更改生效，你可以重新启动你的终端，或者运行以下命令：
1
source ~/.zshrc
  1. 验证nvm安装成功：
1
nvm --version

以上步骤将会在你的macOS系统上安装nvm，并且设置zsh使其能够识别nvm命令。

常用命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
nvm -v //查看nvm版本
nvm ls //查看本机已经安装node版本
nvm use 切换到指定版本node
nvm ls-remote //列出所有可安装的远程node版本
nvm install stable    //安装最新版本
nvm install <version> //安装指定版本
nvm uninstall stable   //卸载最新版本
nvm uninstall <version>   //卸载指定版本
nvm current //查看当前使用的node版本
npm which [current|<version>] //显示已安装node的安装路径。
nvm cache dir //显示nvm的缓存目录
nvm cache clear //清楚nvm的缓存目录
nvm node_mirror [url] //设置node镜像
nvm npm_mirror [url] //设置npm镜像
nvm on //开启node.js版本管理
nvm off //关闭node.js版本管理
 

更新npm到最新版本
npm install -g npm@latest

踩坑记录：

终端安装好了nvm和node，但是在vscode打开后无法执行命令，需要在 vi ~/.zshrc加入export PATH="~/.composer/vendor/bin:$PATH"

参考文章：

如何在macOS上安装NVM

Mac下安装nvm后vscode输入node -v不起作用

Posted on

1.安装nginx

如果你还没有安装Nginx，可以使用你的Linux发行版的包管理器来安装。以下是一些常见发行版的安装命令：

  • 对于Debian/Ubuntu系统：
1
2
sudo apt update  
sudo apt install nginx
  • 对于CentOS/RHEL系统（使用yum）：
1
sudo yum install nginx

2.启动nginx

  • 安装完成后，启动Nginx服务：

    1
    sudo systemctl start nginx

  • 并且设置它开机自启：

    1
    sudo systemctl enable nginx

3. 检查Nginx状态

你可以检查Nginx的状态来确保它正在运行：

1
sudo systemctl status nginx

4. 配置Nginx

Nginx的主要配置文件通常位于/etc/nginx/目录下，特别是nginx.conf文件。但大多数配置更改通常会在sites-available/或conf.d/目录中的单独文件中进行，然后通过在nginx.conf中包含这些文件来应用。

  • 打开Nginx的主配置文件（如果你需要直接编辑它）：
1
sudo nano /etc/nginx/nginx.conf
  • 重新加载Nginx配置以使更改生效：
1
sudo systemctl reload nginx

或者你可以完全重启Nginx服务：

1
sudo systemctl restart nginx

二、Let’s Encrypt在Linux上免费配置HTTPS

Let’s Encrypt简介Let’s Encrypt是一个由Mozilla、Cisco、Akamai、IdenTrust和EFF等组织发起的项目，旨在通过自动化方式为网站提供免费的SSL/TLS证书。它的目标是促进互联网的加密化，保障用户的在线安全。Let’s Encrypt提供的证书有效期为90天，但可以通过自动化过程免费续期。

1.安装Certbot

1
2
sudo apt-get update
sudo apt-get install certbot python3-certbot-nginx

2.配置HTTPS

1
sudo certbot --nginx

image-20240627212626690

在浏览器地址栏中输入你的域名并加上https://前缀（例如：https://www.example.com），如果浏览器显示了一个绿色的锁形图标，并且URL地址以https://开头，那么恭喜你，你的网站已经成功配置了HTTPS！

三、配置nginx.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
server {
       listen 443 ssl;
       server_name 域名.com;

       ssl_certificate /etc/letsencrypt/live/地址/fullchain.pem;
       ssl_certificate_key /etc/letsencrypt/live/地址/privkey.pem;

       location / {
          proxy_pass http://ip:port;
          proxy_set_header Host $host;
          proxy_set_header X-Real-IP $remote_addr;
          proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
          proxy_set_header X-Forwarded-Proto $scheme;
       }
}

四、配置多个域名

可以现在nginx.conf中配置域名，然后在输入sudo certbot --nginx

image-20240730185947293

参考文章：Let’s Encrypt在Linux上免费配置HTTPS

Posted on

使用 selenium 模拟浏览器渲染数据，需要依赖各浏览器的驱动才能完成，因此需要单独安装chrome driver。

一、下载对应chrome浏览器驱动

  1. 下载地址：chrome driver

image-20240527155408011

  1. 安装 chrome driver

  2. 解压完 zip 压缩包之后，拷贝二进制文件到 /usr/local/bin 目录下即可

    1
    2
    3
    4
    5
    6
    # 拷贝
    cp chromedriver-mac-arm64/chromedriver /usr/local/bin
     
    # 授权
    cd /usr/local/bin
    xattr -d com.apple.quarantine chromedriver

二、python调用selenium

  1. 安装selenium
1
pip install selenium
  1. 唤起谷歌浏览器
1
2
3
4
5
6
7
from selenium import webdriver
# 启动谷歌浏览器
driver=webdriver.Chrome() 
# 访问一个网页
driver.get("http://www.zhihu.com") 
# 退出浏览器
driver.quit()
  1. 调用页面接口
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
from selenium import webdriver

# 创建一个ChromeOptions对象，用于设置Chrome浏览器的启动选项。
options = webdriver.ChromeOptions()
# 使Chrome以无头模式运行（即不显示浏览器窗口）。这通常用于在服务器环境中进行自动化操作。
options.add_argument('--headless')
# 禁用GPU硬件加速。这是为了在某些无头模式的情况下避免一些bug。
options.add_argument('--disable-gpu')
# 禁用沙盒模式。沙盒模式通常用于安全性，但在某些环境中可能会导致问题，因此这里将其禁用。
options.add_argument('--no-sandbox')
# 设置浏览器的user-agent字符串。这使得请求看起来像是来自一个正常的桌面浏览器，而不是一个自动化工具，从而减少被反爬虫机制识别的风险。
options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36')

driver = webdriver.Chrome(options=options)
# 让浏览器访问指定的URL，即https://investing.com。
driver.get('https://investing.com')
# 使用浏览器执行JavaScript代码，通过fetch API发送一个HTTP请求到指定的API endpoint，并返回其响应。该响应将被解析为JSON格式并存储在response变量中。
response = driver.execute_script("return fetch('https://api.investing.com/api/financialdata/7310/historical/chart/?interval=P1D&pointscount=160').then(res => res.json())")
print(response)

driver.quit()

Posted on

申请TG机器人

image-20240417152031003

  1. 打开 Telegram 应用程序然后搜索@BotFather
  2. 单击开始
  3. 单击菜单 -> /newbot 或输入/newbot并点击发送
  4. 按照说明进行操作，直到我们收到这样的消息
1
2
3
4
5
6
7
8
Done! Congratulations on your new bot. You will find it at t.me/new_bot.
You can now add a description.....

Use this token to access the HTTP API:
63xxxxxx71:AAFoxxxxn0hwA-2TVSxxxNf4c
Keep your token secure and store it safely, it can be used by anyone to control your bot.

For a description of the Bot API, see this page: https://core.telegram.org/bots/api
  1. 这是我们的机器人令牌63xxxxxx71:AAFoxxxxn0hwA-2TVSxxxNf4c（确保我们不会将其分享给任何人）。

获取私人聊天的聊天ID

  1. 搜索并打开我们新的 Telegram 机器人

  2. 单击“开始”或发送消息

  3. 在浏览器中打开此网址

1
https://api.telegram.org/bot{our_bot_token}/getUpdates
  • 请注意，我们需要在令牌前加上 bot
  • 例如：https://api.telegram.org/bot63xxxxxx71:AAFoxxxxn0hwA-2TVSxxxNf4c/getUpdates

或者通过@raw_info_bot：

image-20240417151949471

  1. 我们会看到这样的 json
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
{
  "ok": true,
  "result": [
    {
      "update_id": 83xxxxx35,
      "message": {
        "message_id": 2643,
        "from": {...},
        "chat": {
          "id": 21xxxxx38,
          "first_name": "...",
          "last_name": "...",
          "username": "@username",
          "type": "private"
        },
        "date": 1703062972,
        "text": "/start"
      }
    }
  ]
}

  1. 检查result.0.message.chat.id，这是我们的聊天 ID：21xxxxx38

  2. 让我们尝试post发送一条消息https://api.telegram.org/bot63xxxxxx71:AAFoxxxxn0hwA-2TVSxxxNf4c/sendMessage?chat_id=21xxxxx38&text=test123

  3. 当我们正确设置机器人令牌和聊天 ID 时，消息test123应该会到达我们的 Telegram 机器人聊天中。

获取频道的聊天 ID

获取群聊 ID 的最简单方法是通过 Telegram 桌面应用程序。

  1. 在桌面应用程序中打开 Telegram

  2. 将我们的 Telegram 机器人添加到聊天组中

  3. 发送消息至聊天组

  4. 右键单击该消息，然后单击

1
Copy Message Link
  • 我们将得到一个像这样的链接：https://t.me/c/194xxxx987/11/13
  • 图案：https://t.me/c/{group_chat_id}/{group_topic_id}/{message_id}
  • 这是我们的聊天 ID：194xxxx987

  1. 要在 API 中使用群聊 ID，我们需要在其前面加上 number 前缀-100，如下所示：-100194xxxx987

  2. 现在让我们尝试发送消息https://api.telegram.org/bot63xxxxxx71:AAFoxxxxn0hwA-2TVSxxxNf4c/sendMessage?chat_id=-100194xxxx987&text=test123

或者使用python：

1
2
3
4
5
6
import requests

response = requests.post(
    url='https://api.telegram.org/bot{0}/{1}'.format(token, method),
    data={'chat_id': 12345, 'text': 'hello friend'}
).json()
  1. 当我们正确设置机器人令牌和聊天 ID 时，消息test123应该会到达我们的群聊中。

获取群聊中某个主题的聊天 ID

为了向 Telegram 群组上的特定主题发送消息，我们需要获取主题 ID。

  1. 与上面的步骤类似，我们点击 后Copy Message Link，会得到一个类似： 的链接https://t.me/c/194xxxx987/11/13，所以群组 Topic ID 为11。

  2. 现在我们可以像这样使用它（参见message_thread_id）：https://api.telegram.org/bot783114779:AAEuRWDTFD2UQ7agBtFSuhJf2-NmvHN3OPc/sendMessage?chat_id=-100194xxxx987&message_thread_id=11&text=test123

  3. 当我们正确设置机器人令牌和聊天 ID 时，消息test123应该到达我们的群聊主题内。

参考链接：https://stackoverflow.com/questions/31197659/how-to-send-request-to-telegram-bot-api![](https://ruiyeclub.oss-cn-shenzhen.aliyuncs.com/picgo/image-20240417151949471.png)

更新内容

将消息推送至群组

  1. 将机器人拉入群组，发送/{message}@bot消息
  2. 可以通过https://api.telegram.org/bot{token}/getUpdates获取群组id

image-20240829100959057

这里群组id为-4583**9819

Posted on

将Python程序打包为可执行的.exe文件有多种方法。以下是其中两种常用的方式。

使用PyInstaller库进行打包

  1. 首先确保已经安装了PyInstaller库（如果没有，则通过命令pip install pyinstaller来安装）；

  2. 在命令提示符或终端中导航到要打包的Python脚本所在目录；

  3. 运行命令 pyinstaller --onefile your_script.py，这会生成一个名为”dist”的文件夹，并在该文件夹内创建一个与脚本同名的.exe文件。

注意：此方法只适用于单个Python脚本的打包。

  1. 在使用 PyInstaller 打包项目时，有时会遇到缺少 Python 库的问题，导致打包失败。
    1
    pyinstaller --hidden-import=some_module --onefile your_script.py

使用cx_Freeze库进行打包

  1. 首先确保已经安装了cx_Freeze库（如果没有，则通过命令pip install cx-freeze来安装）；

  2. 创建一个名为setup.py的新文件，并添加以下内容：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
     from distutils.core import setup
    import sys

    if len(sys.argv) == 1 or 'bdist_wininst' not in sys.argv[1]:
        # 设置需要打包的模块及入口点
        modules = ['myapp']
        
        options = {
            "build_exe": {
                "includes": ["atexit"],
                "excludes": [],
                "packages": [],
                "path": "",
             },
          }
        
        setup(name="YourProgram", version="0.1", description="Description of Your Program", author="Author Name", url="http://www.example.com/", console=["myapp.py"])
    else:
        pass

  3. 在命令提示符或终端中导航到包含上述setup.py文件的目录；

  4. 运行命令 python setup.py bdist_wininst，这会生成一个名为”dist”的文件夹，并在该文件夹内创建一个与脚本同名的.exe文件。

注意：此方法更适合对多个Python模块进行打包。

TOP