Ethan

Harness Engineering：给大模型套上缰绳

northes — Thu, 28 May 2026 13:50:54 +0800

什么是 Harness Engineering

Harness，直译过来叫「马具」，或者更形象一点 —— 缰绳。

想象一下骑马的场景：马本身有强大的力量，能跑能跳能驮东西，但如果没有缰绳和马具，这股力量就是失控的。马可能往悬崖上跑，可能把你甩下来，可能跑去吃草不回来了。马具的作用，就是让这股力量为你所用。

把这个比喻放到 AI 系统里，就特别贴切了。大模型就像那匹马，能力很强，但你得有一套东西来驾驭它。

Agent = Model + Harness

这个等式在圈子里流传很广。翻译成人话就是：在一个 AI Agent 系统里，除了模型本身之外，几乎所有决定它能不能稳定交付的东西，都属于 Harness。

反过来也一样：Harness = Agent − Model。把模型拿走，剩下的就是 Harness。

这个词最早被正式叫响，是在 2026 年 2 月 Mitchell Hashimoto（HashiCorp 创始人）的一篇博客《My AI Adoption Journey》里。他把自己从「不信 AI」到「每天让 Agent 替我干活」的心路历程拆成了 6 个 Step，其中第五步他起了个名字叫 Engineer the Harness —— 打磨这套马具。

他给的定义特别简洁：

每次当你发现 Agent 犯了一个错误，就花点时间去工程化一个解决方案，让它永远不会再犯同样的错误。

不是骂两句然后手动改掉，而是把修复沉到环境里，让 Agent 在结构上就不可能再犯。

一周后，OpenAI 也发了一篇官方博客《Harness engineering: leveraging Codex in an agent-first world》，讲他们一个 3 人小团队用 5 个月、靠 Agent 写出了 100 万行代码、合并了 1500 个 PR，全程没人手动写过一行代码。这篇博客直接把 Harness Engineering 推上了风口浪尖。

Claude Code 代码检索选型思考

northes — Fri, 10 Apr 2026 14:50:39 +0800

什么是代码检索

顾名思义，代码检索就是把代码库中你想要的代码找出来。

你可能会问：现在 LLM 这么强了，为什么不直接把整个代码库丢给它看？原因有四：

LLM 的上下文窗口有限
过多的上下文会导致成本激增
上下文过大会分散模型注意力
需要预留上下文给系统提示、工具调用等

那这个「找东西」的场景，听起来不是天然就适合 RAG 吗？别急，我们具体问题具体分析。

RAG 的工作原理

具体的工作原理可以参考 RAG 的工作原理一文，这里不再赘述。

简单来说，从原始代码到可用的 RAG 系统，需要经过以下几步：

对代码进行分片（chunking），可以按函数、按行数等
对分片后的代码片段进行向量化（embedding）
建立索引（indexing）
召回指定片段（retrieval）

需要注意的是，召回过程依赖的是相似度计算。这在企业知识库、客服机器人等领域非常好用，但在代码场景下，则会水土不服。

RAG 的水土不服

理想很丰满，现实很骨感。为什么 RAG 在代码场景下会水土不服？主要有以下几点：

1. 代码切分的边界不好处理

文章即使按段落切分，每一段之间也不影响阅读。但代码不同 —— 它有严格的语法结构和上下文关联，粗暴切分会直接破坏语义。

如果按函数切分，遇到几千行的巨型函数，召回效果会大打折扣。

如果按行数切分，一个 if-else 块可能被拦腰截断：一个 chunk 里是 if，另一个 chunk 里是 else，分开之后两个 chunk 都不知道在说什么。

更糟糕的是，如果函数 A 调用了函数 B，而核心逻辑实现在 B 里，那么 A 被向量化之后，根本无法体现出「A 包含了 B 的功能」。调用链再深几层，这个问题会更严重。

2. 向量无法精确匹配

向量召回的本质是找「相似的」，而不是「准确的」。但代码场景要求的恰恰是准确性。

比如用户说「帮我找到 getUserById 调用的地方」，向量召回可能给你返回一堆 getUserInfo、getUserByName、fetchUserInfo、queryUser —— 只要跟 user 沾边的全来了。而用户只是想精确匹配 getUserById 这一个函数名。

RAG 的基本原理

northes — Wed, 04 Mar 2026 10:10:15 +0800

RAG（Retrieval-Augmented Generation），中文通常译作“检索增强生成”。

在 LLM 的应用场景中，企业知识库、客服机器人、文档助手等产品背后，基本都能看到 RAG 技术的影子。

为什么需要 RAG

现如今的 LLM 已经非常强大了，为什么还需要 RAG？

LLM 的本质是在预测下一个 Token，这会带来三个常见问题：

LLM 幻觉：当训练数据中没有答案时，模型未必会直接说“不知道”，而是可能继续预测下一个 Token，直到输出一个看起来合理、但实际并不可靠的答案。
知识过时：模型训练数据通常停留在某个时间点。对于训练截止时间之后发生的事情，模型本身并不了解。
无法访问私有数据：企业内部数据通常不会公开在公网上，因此模型的训练数据里也不会包含这些知识。此时就需要我们主动把相关内容提供给 LLM，让它基于这些内容进行理解和生成。

这时候我们很容易想到一个方案：直接把整个知识库文档丢给 LLM，让它从里面找我们想要的知识，不就可以了吗？

但这样做又会引出新的问题：

LLM 的上下文是有限的。当输入内容超出上下文限制时，部分内容可能会被丢弃或压缩，从而丢失关键信息，导致模型给出错误答案。
过大的上下文会显著增加每次对话的成本。每次向 LLM 发起请求时，都需要把相关上下文一起提交，如果其中混入大量无关信息，就会造成金钱和性能上的浪费。
回复速度会变慢。如果每次提问都把整个知识库塞进去，LLM 就需要完整读取大量内容后才能回答问题，用户可能要盯着白屏等待很久，体验非常差。

所以，更好的方式是：先在知识库中找到最相关的几页或几段内容，再把这些内容交给 LLM。

这就像开卷考试。我们不可能每次都从头到尾翻完整本书再找答案，通常会先定位到大概章节和页码，再从相关内容中找到正确答案。

因此，RAG 的核心思路就是：先检索，再把检索出来的内容交给 LLM 生成答案。这也是“检索增强生成”最直观的含义。

RAG 和核心流程

第一阶段：数据准备

假设我们要给企业做一个问答知识库。

企业内部文档通常有各种各样的格式，比如 PDF、Word、Excel、PPT、Markdown 等。这些文档里可能混杂着大量无关内容，看起来比较“脏”。对于这类数据，我们通常需要先进行数据清洗，去掉其中无用的信息。
对文档进行切分（chunking），按照章节、段落、字数等规则，把文档切成一个个小块（chunk）。每个 chunk 应尽量表达一个相对完整的语义。比如“张三是一个好男人”，如果切成“张三”和“是一个好男人”，就会破坏原句语义：我们既不知道“是一个好男人”指的是谁，也无法完整理解这句话想表达什么。

具体使用哪种切分方式，需要根据实际场景选择。

为什么需要切分？如果直接按整个文档处理，后续召回的也会是一整篇文档，无法定位到具体信息，RAG 的价值就会大打折扣。

由于计算机无法直接理解文字，它更擅长处理数字，因此我们需要对这些 chunk 进行向量化（embedding）。向量化可以简单理解为：通过 embedding 模型，把一句话转换成语义空间中的一组坐标点。

举个例子：

“张三是男的”，转成坐标点就是（1,1）
“张三三十岁”，转成坐标点就是（2,1）
“今天天气很好”，转成坐标点就是（-2,-1）

在这个空间中，语义相近的句子坐标会更接近。比如“张三是男的”和“张三三十岁”都是在描述张三这个人，它们的坐标就会更接近。

Fumadocs 中使用 CDN 加载静态资源，兼容本地显示

northes — Fri, 06 Feb 2026 15:57:59 +0800

从相对目录中加载图片

默认图片必须放在 public 目录下，并在 mdx 中使用绝对目录访问，这对于 Markdown 编辑器来说十分不友好

举个例子，目录如下

├── content
│   └── docs
│       ├── index.assets
│       │   └── image-20260206.png
│       ├── index.mdx
│       └── test.mdx

`1`	`![image-20260206](./index.assets/image-20260206.png)`

此时，Markdown 编辑器可以正常展示图片，但是 fumadocs 就没办法正常加载图片了，如果将图片放在 public 目录下，并修改 index.mdx 的引入图片为：

`1`	`![image-20260206](/image-20260206.png)`

这个时候 fumadocs 可以正常加载图片，Markdown 编辑器又加载不出图片了

那么，有没有两全其美的方法呢？有的兄弟有的

我们可以使用官方提供的 MDX Plugin：Remark Image，以支持从非 public 目录下访问图片

source.config.ts

export default defineConfig({
  mdxOptions: {
    remarkImageOptions: {
      useImport: true, // 允许从非 public 的目录下读取图片
    },
  },
});

修改后，我们就可以使用相对路径，从类似 content/docs/index.assets 的目录下加载图片了，并且 fumadocs 也能正常渲染

微信支付报错：无可用平台证书解决方案

northes — Thu, 06 Mar 2025 17:48:28 +0800

前言

最近在接微信支付的时候，遇到了一个 无可用平台证书 的报错，记录下解决过程。

经过一番查找，发现这个问题是由于平台证书存在过期时间，需要开发这由于没有及时更换，会导致支付失败。因为在 v3 接口中，微信强制只允许使用公钥进行验签。而相关的报错信息模糊，没有明显的公告，加上官方给出的示例也没有更新到使用公钥的版本，导致接入的时候在这个问题上浪费了不少时间。

名词解释

商户id、商户号（mcnId）

微信支付平台 - 账户中心 - 商户信息 - 基本账户信息 - 微信支付商户号

证书序列号（SerialNumber，SerialNo）

微信支付平台 - 账户中心 - API安全 - API 证书管理 - 证书序列号

也可以使用命令行查看

`1`	`openssl x509 -in apiclient_cert.pem -noout -serial`

私钥需要下载工具生成。具体位置为微信支付平台 - 账户中心 - API 安全 - API 证书管理

APIv3 Key

APIv2 已经停止支持，使用 v3 即可

微信支付平台 - 账户中心 - API安全 - 解密回调 - APIv3 密钥（自己设置的32位字符）

公钥、公钥ID

微信支付平台 - 账户中心 - API安全 - 微信支付公钥

关于 Appsmith 的不吐不快

northes — Thu, 06 Mar 2025 17:22:13 +0800

最近在项目中用到了 Appsmith 作为管理后台，初上手感觉还不错，但是用久了发现了一些问题，这里记录（吐槽）一下。

不支持 typescript，这就导致了编辑器只有最基础的提示，对于一些复杂的结构来讲，必须手敲，实在是太痛苦了。
只能使用在线编辑器，不能本地开发，这就导致了开发效率低下，而且还有一定的网络延迟。编辑后必须等待左上角的 saveing 转完，才能大概知道是保存好了。
关于 2 中提到的大概，是因为他的同步做得极其糟糕，受到网络和部署的机器的性能影响，有时候编辑完了，保存了，但是还是会出现丢失的情况，经常会突然闪回到前几分钟的一个版本。
只能使用自带的组件，虽然提供了自定义组件的功能，但是十分复杂且不好用。
数据没有双向绑定，用惯了现代化的前端框架，这个真的是太难受了，更新完必须手动更新 js 中变量。
SQL 编辑页与 JS 编辑页分开，这就导致了再 SQL 中传参，经常需要跳来跳去查看两个页面的变量，效率十分底下，同样地，对传参的变量也没有提示。
携带参数的页面跳转，取得参数后设置到组件中，这个过程简直可以用痛苦来形容。
组件位置不能微调，只能用鼠标拖动，不支持方向键微操，对于一些追求精准布局的强迫症来说，这无异于当面喂 💩。
组件外部的容器一调整大小，里面的组件位置和大小全乱，只能重复第 8 点继续用鼠标慢慢拖回来。
一些通用的逻辑和组件不能抽象，每个页面都要写一遍，维护起来难上加难。

Zed 折腾指北

northes — Wed, 12 Feb 2025 10:56:13 +0800

Zed 号称是一个专为人类与 AI 高性能合作而开发的编辑器。

基于 Rust，高效利用 CPU 内核与 GPU
支持多语言的 LSP，与 Github Copilot 集成（很好的自动完成，使我原地旋转）
集成 LLMs，开发中随时进行对话
Vim 友好，原生支持，相比需要安装插件支持更丝滑
开源，支持拓展系统，支持远程开发(beta)

快捷键

本人习惯使用 JetBrains 的快捷键

一些常用快捷键（小部分跟 JetBrains 不一样）

Shift Shift: 打开命令面板
Command + Shift + F: 搜索全局文件
Command + Option + L: 格式化文件
Command + 7: 大纲筛选
Command + J: 打开底部面板（一般是终端）
Command + L: 跳转到指定行
Command + P: 按路径搜索文件
Command + R: 打开对话助手面板（LLMs）
Command + W: 关闭当前 Tab 页
Options + Enter: 打开代码功能（如填充 Go 结构体）

uni-app 中使用微信小程序原生组件（TDesign）

northes — Mon, 10 Feb 2025 12:26:55 +0800

初始化

使用 vue3 + vite 版初始化项目

`1`	`npx degit dcloudio/uni-preset-vue#vite my-vue3-project`

不支持直接使用 vue 版本的组件库，因为 vue 版的用到了 isVNode，小程序不支持相关实现，可以使用小程序版的，使用小程序版的可以编译到微信小程序、QQ 小程序、APP、H5 端

安装

`1`	`npm i tdesign-miniprogram -S --production`

在 src 下新建 wxcomponents 文件夹

复制 node_modules/tdesign-miniprogram/miniprogram_dist 到 src/wxcomponents 下，可以改名为 tdesign

在 src/pages.json 中全局使用组件

{
	"globalStyle": {
		"usingComponents": {
			"t-button": "wxcomponents/tdesign/button/button"
		}
	}
}

在页面中直接使用

`1`	`<t-button size="large" theme="danger">填充按钮new</t-button>`

如遇编译到小程序后，小程序编译错误，执行 yarn 重新安装依赖，再次运行 yarn dev:mp-weixin 即可

编辑器没有提示，可以安装 vue 版本的，用于提示，注意：不实际使用 vue 版本的组件库

在 uni-app 中使用 u-charts

northes — Mon, 10 Feb 2025 12:21:24 +0800

官网

安装

`1`	`pnpm i @qiun/uni-ucharts`

复制文件

进入 node_modules/@qiun/uni-ucharts，复制 components 到 src/components 下
复制 components 下的 static 到 src/static 下

使用

如果正确配置了使用 components 目录，不需要 import 直接使用即可

<route type="home" lang="json5">
{
  layout: "tabbar",
}
</route>

<template>
  <view>
    <nav-bar title="数据图表" />

    <view class="w-full h-1xl">
      <qiun-data-charts type="column" :chartData="chartData" />
    </view>

    <view class="w-full h-1xl">
      <qiun-data-charts type="area" :opts="opts" :chartData="chartData" />
    </view>
  </view>
</template>

<script setup lang="ts">
import { ref } from "vue";
import { onReady } from "@dcloudio/uni-app";

const chartData = ref({});

const opts = ref({
  color: [
    "#1890FF",
    "#91CB74",
    "#FAC858",
    "#EE6666",
    "#73C0DE",
    "#3CA272",
    "#FC8452",
    "#9A60B4",
    "#ea7ccc",
  ],
  padding: [15, 10, 0, 15],
  enableScroll: false,
  legend: {},
  xAxis: {
    disableGrid: true,
  },
  yAxis: {
    gridType: "dash",
    dashLength: 2,
  },
  extra: {
    line: {
      type: "straight",
      width: 2,
      activeType: "hollow",
    },
  },
});

onReady(() => {
  getServerData();
});

const getServerData = () => {
  //模拟从服务器获取数据时的延时
  setTimeout(() => {
    let res = {
      categories: ["2016", "2017", "2018", "2019", "2020", "2021"],
      series: [
        {
          name: "目标值",
          data: [35, 36, 31, 33, 13, 34],
        },
        {
          name: "完成量",
          data: [18, 27, 21, 24, 6, 28],
        },
      ],
    };
    chartData.value = JSON.parse(JSON.stringify(res));
  }, 500);
};
</script>

<style lang="scss">
.charts-box {
  width: 100%;
  height: 1200rpx;
}
</style>

在 uni-app 中使用 unocss

northes — Mon, 10 Feb 2025 12:16:11 +0800

v0.59 后版本只提供 ESM 支持了，参考 Pure ESM package · GitHub

第三方库

GitHub - uni-helper/unocss-preset-uni: 专为 uni-app 打造的 UnoCSS 预设

相关：GitHub - unocss-applet/unocss-applet: Using UnoCSS in applet(UniApp / Taro) to be compatible with unsupported syntax. 在小程序中使用UnoCSS，兼容不支持的语法。

yarn add unocss -D
yarn add @unocss/preset-legacy-compat -D
yarn  add @uni-helper/unocss-preset-uni -D
yarn add unocss unocss-applet -D

uno.config.ts

import { defineConfig } from "unocss";
import { presetUni } from "@uni-helper/unocss-preset-uni";

export default defineConfig({
  presets: [presetUni()],
});

vite.config.ts

uni-app 上手遇到的坑，我都踩了

northes — Mon, 10 Feb 2025 11:42:19 +0800

脱离 HbuilderX 开发

用惯了顺手的开发工具，突然要脱离到 HbuilderX 开发，真的是一种煎熬。好在，官方提供了 cli 创建项目的方式，让我们可以在 VsCode、WebStorm 等 IDE 中开发。

vue3+vite+ts

`1`	`npx degit dcloudio/uni-preset-vue#vite-ts my-vue3-project`

vue3+vite

`1`	`npx degit dcloudio/uni-preset-vue#vite my-vue3-project`

更新 uni-app 版本

`1`	`npx @dcloudio/uvm@latest`

官网:更新 uni-app 到最新版本

Uni-app 类型提示

使用 vscode 开发有太多的教程了，这里分享一下使用 Webstorm 开发 uni-app 的配置。

uni 提示

设置 - 语言与框架 - JavaScript - Libraries - Download - uni-app

微信小程序类型提示

GitHub - wechat-miniprogram/minigame-api-typings: Type definitions for APIs of Wechat Mini Game in TypeScript

Docker 开启 TCP 监听

Northes — Wed, 08 Mar 2023 02:26:53 +0000

修改

/usr/lib/systemd/system/docker.service

在后面添加监听地址与端口

重启

1
2

systemctl daemon-reload
systemctl restart docker

验证

`1`	`curl -XGET http://localhost:2375/version`

使用远程Docker守护进程

`1`	`docker -H tcp://192.168.31.26:2375 info`

`1`	`export DOCKER_HOST="tcp://192.168.31.26:2375"`

Cloudflare Tunnel 使用笔记

Northes — Wed, 08 Mar 2023 02:14:14 +0000

安装

`1`	`curl -L 'https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64' -o /usr/bin/cloudflared chmod +x /usr/bin/cloudflared`

创建隧道

1
2
3

cloudflared tunnel create <隧道名字> 
# 比如 
cloudflared tunnel create webserver-1

一般建议一台服务器建立一条隧道

创建成功后，会输出隧道UUID，记录备用

创建域名指向

cloudflared tunnel route dns <隧道名字> <域名> 
# 比如一级域名（和Web界面不一样，不需要输入@） 
cloudflared tunnel route dns webserver-1 abc.com 
# 又比如二级域名 
cloudflared tunnel route dns webserver-1 www.abc.com

此时，Cloudflare 会自动添加一条 CNAME 记录到对应的域名

对于多个其他域名，需要登录控制台，手动添加

挂载 SMB 目录

Northes — Mon, 27 Feb 2023 15:27:26 +0800

安装必要工具

`1`	`apt-get install cifs-utils vim`

挂载

`1`	`mount -t cifs <共享点路径> <挂载点> -o username=<用户名>,password=<密码>`

例子

mount -t cifs \\192.168.31.5/video /tmp/nas -o username=<用户名>

# 报错 mount.cifs: bad UNC (\192.168.31.5) 时尝试
mount -t cifs //192.168.31.5/video /tmp/nas -o username=<用户名>

# 报错
# mount error(22): Invalid argument
# Refer to the mount.cifs(8) manual page (e.g. man mount.cifs) and kernel log messages (dmesg)
# 时，检查共享点是否缺少具体路径，如 //192.168.31.5/video 而不是 //192.168.31.5

开机自动挂载

Northes — Mon, 27 Feb 2023 15:25:39 +0800

由于直接使用 mount 命令在重启后会失效，因此需要将欲挂载的目录写入到记录文件中

写入

/etc/fstab

以 SMB 为例

1
2

# <file system>          <dir>              <type> <options>                                                    <dump>  <pass>  
//SHARE_IP/share_folder  /mnt/share_folder  cifs   user=username,password=password,file_mode=0755,dir_mode=0755 0       0

测试验证

# 卸载已挂载的目录
umount /mnt/share_floder
# 使用/etc/fstab文件进行挂载
mount -a

查看挂载目录，成功后下次开机将会自动挂载好

LXC 直通核显

Northes — Mon, 27 Feb 2023 15:20:45 +0800

在搭建家庭影视中心的时候，Emby，Jellyfin 等工具需要用到核显进行解码

直通

PVE 7.x

宿主机中查看驱动

1
2
3

ls -l /dev/dri

## card0  renderD128

创建容器，取消勾选 无特权容器，已创建的容器最好先关闭
宿主机中编辑配置文件

vi /etc/pve/lxc/<lxc_id>.conf

# 添加
lxc.cgroup2.devices.allow: c 226:0 rwm 
lxc.cgroup2.devices.allow: c 226:128 rwm 
lxc.mount.entry: /dev/dri/card0 dev/dri/card0 none bind,optional,create=file 
lxc.mount.entry: /dev/dri/renderD128 dev/dri/renderD128 none bind,optional,create=file

查看支持的解码器

启动LXC，查看核显是否挂载成功

1
2
3

apt-get install vainfo

vainfo

LXC 下无法启动 Tailscale

Northes — Mon, 27 Feb 2023 15:06:15 +0800

默认的 LCX 容器是没有启动 TUN 模块的，因此在使用 OpenVPN，Tailscale 之类的网络工具时，会出现无法启动的情况，使用如下配置以启动容器的 TUN 模块

需进入宿主机编辑 LXC 配置文件

建议先将 LCX 容器关停

vi /etc/pve/lxc/[id].conf

1
2

lxc.cgroup2.devices.allow: c 10:200 rwm
lxc.mount.entry: /dev/net dev/net none bind,create=dir

参考

https://pve.proxmox.com/wiki/OpenVPN_in_LXC

LXC 下无法启动 Containerd

Northes — Mon, 27 Feb 2023 14:26:15 +0800

在使用 LXC 容器部署 Docker 环境，或搭建 K3s，K8s 集群时，遇到报错导致无法成功启动的，可以使用如下方式解决

创建特权容器

配置 LXC

需进入宿主机编辑 LXC 配置文件

建议先将 LCX 容器关停

vi /etc/pve/lxc/[id].conf

lxc.apparmor.profile: unconfined
lxc.cgroup.devices.allow: a
lxc.cap.drop:
lxc.mount.auto: "proc:rw sys:rw"

至此，大部分情况下都已经可以正常运行 Docker 与 K3s，K8s 集群了，如果还不行，接着往下看

LXC 内创建绑定脚本

/etc/rc.local

#!/bin/sh -e

# Kubeadm 1.15 needs /dev/kmsg to be there, but it's not in lxc, but we can just use /dev/console instead
# see: https://github.com/kubernetes-sigs/kind/issues/662
if [ ! -e /dev/kmsg ]; then
    ln -s /dev/console /dev/kmsg
fi

# https://medium.com/@kvaps/run-kubernetes-in-lxc-container-f04aa94b6c9c
mount --make-rshared /

授权并重启

Go 配置私有化仓库

Northes — Fri, 11 Nov 2022 17:24:09 +0800

初始化脚本

#!/bin/bash -xv
# -xv shell脚本调试之用 这个参数也可以去掉

go env -w GOPROXY='https://goproxy.io,direct' #加快 go mod 下载速度
echo '输入你私有仓库的host name eg: git.mojotv.corp.net >'

read GOPRIVATE

go env -w GOPRIVATE=$GOPRIVATE

echo '输入你的私有仓库的UserName用户名 >'

read GIT_USER
echo "访问你 https://$GOPRIVATE/profile/personal_access_tokens 创建个人访问令牌,填写gitlab-access-token >"
read GIT_TOKEN
echo '开始配置git config --global 使用access-token 验证私有仓库身份认证'
git config --global url."https://tanjieqiang:-sU3odYxjoDRZyo-Jxdg@gitlab.shouyouqianxian.com".insteadOf "https://gitlab.shouyouqianxian.com"
echo '现在你可以使用 go mod download (go run main.go) 继续开发你的项目吧'

配置流程(Gitlab)

配置Go

1
2
3

go env -w GOPRIVATE="gitlab.example.com"
go env -w GONOPROXY="gitlab.example.com"
go env -w GONOSUMDB="gitlab.example.com"

配置SSH

将本地的 ~/.ssh/id_rsa.pub 内容添加到 GitLab 的 SSH Keys 中
如果本地的 ssh 密钥有密码，需要将密码取消

`1`	`ssh-keygen -p`

测试能否与 GitLab 进行SSH通信

`1`	`$ ssh -T git@git.example.com`

配置Access Token

生成 access token

Shell 实用技巧

Northes — Thu, 30 Jun 2022 15:11:51 +0800

判断文件\文件夹件是否存在

if [ -d app ];then
  echo true
else
  echo false
fi

1
2

# 简洁
[ -f hello.txt ] && echo yes || echo no

-e：文件
-d：目录
-f：常规文件
-L：符号链接
-r：可读
-w：可写
-x：可执行
-s：文件长度不为 0
-h：软链接

Yaml 实用技巧

Northes — Thu, 30 Jun 2022 15:11:48 +0800

多行字符串配置方法

在写 K8s 的 ConfigMap 或写 CI 配置文件的时候很有用

配置与显示都换行

使用 `\n`

1
2

string: "foo \n\
         bar "

使用 `|` `|+` `|-`

1
2
3

string1: |
  foo
  bar

| ：文中自动换行，并且文末新增一空行
|+ ：文中自动换行，并且文末新增两空行
|- ：文中自动换行，并且文末不新增行

配置换行，显示一行

直接写

1
2

string: "Hey
        Man"

使用 `>` `>+` `>-`

1
2
3

string:
  Hey
  Man

> ：文中不自动换行，文末新增一空行
>+ ：文中不自动换行，文末新增两空行
>- ：文中不自动换行，文末不新增空行

K3s 备忘录

Northes — Tue, 28 Jun 2022 10:59:30 +0800

单节点

参考：https://docs.rancher.cn/docs/k3s/quick-start/_index

安装

curl -sfL https://get.k3s.io | sh -
# 国内
curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn sh -
# 使用 Docker
curl -sfL https://get.k3s.io | sh -s - --docker

双节点

安装

查看 Token

默认的 K3S_TOKEN 会生成在 Server 端

1
2
3

cat /var/lib/rancher/k3s/server/token
# K1070878408e06a827960208f84ed18b65fa10f27864e71a57d9e053c4caff8504b::server:
# df54383b5659b9280aa1e73e60ef78fc 为 K3S_TOKEN ，用于从节点加入时验证

执行安装

curl -sfL https://get.k3s.io | K3S_URL=https://<服务端地址>:6443 K3S_TOKEN=<上文中查看的K3S_TOKEN> sh -
# 国内
curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | K3S_URL=https://<服务端地址>:6443 K3S_TOKEN=<上文中查看的K3S_TOKEN> sh -
# 使用 Docker
curl -sfL https://get.k3s.io | K3S_URL=https://<服务端地址>:6443 K3S_TOKEN=<上文中查看的K3S_TOKEN> sh -s - --docker

仪表盘

安装

简洁版

直接去 https://github.com/kubernetes/dashboard/releases 找到最新的版本，执行 Installation 目录下的安装命令即可

Harbor 搭建镜像代理

Northes — Tue, 21 Jun 2022 11:17:34 +0800

环境

已安装的可访问墙外的 Harbor（2.5.1）

仓库配置

登入管理员账号

默认：admin Harbor12345

系统管理 - 仓库管理 - 新建项目

提供者	目标名	目标 URL	访问 ID 与密码
Docker Hub	docker.io	https://hub.docker.com	根据实际，一般代理公共项目留空即可
Quay	quay.io	https://quay.io	清空
Quay	gcr.io	https://gcr.io	清空
Quay	k8s.gcr.io	https://k8s.gcr.io	清空
Quay	ghcr.io	https://ghcr.io	清空

验证远程证书可选可不选

添加项目

项目 - 新建项目

项目名，与要代理的镜像仓库地址相同更方便（如：仓库为 k8s.gcr.io ,项目名也设置为 k8s.gcr.io ）
打开镜像代理
选择欲代理的镜像仓库

一个仓库对应一个项目即可

使用

基本

设

部署的 Harbor 域名为 harbor.god.com
要拉取的镜像为 k8s.gcr.io/kube-state-metrics/kube-state-metrics:v2.0.0-beta
项目为私有，则需要 docker login 登录后拉取(管理员创建的仓库记得给普通用户加权限)

docker pull harbor.god.com/k8s.gcr.io/kube-state-metrics/kube-state-metrics:v2.0.0-beta

# pull 到本地再重新打 tag 即可
docker tag harbor.god.com/k8s.gcr.io/kube-state-metrics/kube-state-metrics:v2.0.0-beta k8s.gcr.io/kube-state-metrics/kube-state-metrics:v2.0.0-beta

拉取的镜像可以设置在 Harbor 中进行缓存，可设置单仓库的可使用空间大小与缓存过期清理

Linux 搭建 NFS

Northes — Tue, 21 Jun 2022 10:58:35 +0800

环境

CentOS 8 主机 *2

服务端

安装工具套件

# 安装 nfs 工具套件
yum install -y nfs-utils
# `-y` 即遇到询问通通确认

# 创建用于 nfs 的共享目录
mkdir -p /nfs/data
# 设置权限，否则 K8s 的 Pod 内会有访问问题
chmod -R 777 /nfs/data

# 编辑 export 配置文件
echo "/nfs/data/ *(insecure,rw,sync,no_root_squash)" > /etc/exports

以上配置分三个部分：

第一部分就是本地要共享出去的目录
第二部分为允许访问的主机（可以是一个 IP 也可以的是一个 IP 段），* 代表允许所有的网段访问
第三部分小括号部分，为权限选项

权限说明

Minikube 备忘

Northes — Sun, 20 Feb 2022 21:45:33 +0800

启动

minikube start
minikube start --nodes 2 -p <node-name>
# memory以MB为单位。如果之前已经创建集群，需要删除（不用加 --all）
minikube start --memory=8192 --cpus=4 --kubernetes-version=v1.14.2
# 删除集群
minikube delete
minikube delete --all
# 使用 docker 驱动
minikube config set driver docker
minikube start --driver=docker

仪表盘

1
2

minikube dashboard
minikube dashboard --url

节点

1
2

minikube node add
minikube node list

传入镜像

# 传入本机镜像
minikube image load <image_name>
# 查看帮助
minikube image --help

访问服务

由于minikube是模拟集群，你的电脑并不是节点，节点是 minikube 模拟出来的，所以不能直接在电脑上访问到服务。但可以通过minikube提供的方法进行访问

Dockerfile 最佳实践

Northes — Wed, 16 Feb 2022 13:56:00 +0800

建议所有的 Dockerfile 指令大写，这样做可以很好地跟在镜像内执行的指令区分开来。
在选择基础镜像时，尽量选择官方的镜像，并在满足要求的情况下，尽量选择体积小的镜像。目前，Linux 镜像大小有以下关系：busybox < debian < centos < ubuntu 。最好确保同一个项目中使用一个统一的基础镜像。如无特殊要求，可以使用 debian:jessie 或者 alpine.
在构建镜像时，删除不需要的文件，只安装需要的文件，保持镜像干净、轻量
使用更少的层，把相关的内容放到一个层，并使用换行符进行分割。这样可以进一步减少镜像的体积，也方便查看镜像历史。
不要在 Dockerfile 中修改文件的权限。因为如果修改文件的权限，Docker 在构建时会重新复制一份，这会导致镜像体积越来越大。
给镜像打上标签，标签可以帮助你理解镜像的功能，例如：docker build -t="nginx:3.0-onbuild"
FROM 指令应该包含 tag，例如使用：FROM debian:jessie 而不是 FROM debian。
充分利用缓存。Docker 构建引擎会顺序执行 Dockerfile 中的指令，而且一旦缓存失效，后续指令将不能使用缓存。为了有效地利用缓存，需要尽量将所有的 Dcokerfile 文件中相同的部分都放在前面，而将不同的部分放在后面
优先使用 COPY 而非 ADD 指令，和 ADD 相比， COPY 功能简单，而且也够用。ADD 可变的行为会导致该指令的行为不清晰，不利于后期维护和理解
推荐将 CMD 和 ENTRYPOINT 指令结合使用，使用 execl 格式的 ENTRYPOINT 指令设置固定的默认命令和参数，然后使用 CMD 指令设置可变的参数。
尽量使用 Dockerfile 共享镜像。通过共享 Dockerfile，可以使开发者明确知道 Docker 镜像的构建过程，而且可以将 Dockerfile 文件加入版本控制，追踪起来。
使用 .dockerignore 忽略构建镜像时非必需的文件。忽略无用的文件，可以提高构建速度。
使用多阶构建。多阶构建可以大幅减小最终镜像的体积。例如，COPY 指令中可能包含一些安装包，安装完成之后这些内容就废弃掉。

Docker Compose 修炼手册

Northes — Tue, 01 Feb 2022 22:19:00 +0800

配置文件

version: '3.1'

services:
  db:
    image: mysql:5.7
    environment:
      MYSQL_ROOT_PASSWORD: 123456
      MYSQL_USER: gin_layout
      MYSQL_PASSWORD: gin_layout
      MYSQL_DATABASE: gin_layout
    command: --default-authentication-plugin=mysql_native_password     #解决MySQL无法连接的问题。若是mysql 8.0 的版本， 默认使用 caching_sha2_password 身份验证机制 —— 从原来的 mysql_native_password 更改为 caching_sha2_password　
    volumes:
      - ./data:/var/lib/mysql # 持久化mysql数据
    ports:
      - 3306:3306
  web:
    depends_on:
      - db # 这里并不会等到db完全启动才启动，一般是自己实现脚本监听再启动web app
    image: gin_layout:latest
    build: .. # 如果找不到镜像，去哪里寻找Dockerfile
    restart: always
    ports:
      - 8080:8080 # 宿主机:容器
    volumes:
      - ./etc:/www/etc # 映射配置文件

详情可看 https://github.com/northes/gin-layout

Windows 包管理工具 Chocolatey

Northes — Tue, 01 Feb 2022 21:43:59 +0800

简介

https://chocolatey.org/

Chocolatey 是一款专为 Windows 系统开发的、基于 NuGet 的包管理器工具，类似于

Node.js 的 npm
MacOS 的 brew
Ubuntu 的 apt-get

简称为 choco

Chocolatey 的设计目标是成为一个去中心化的框架，便于开发者按需快速安装应用程序和工具

安装

使用管理员身份运行 powershell
运行以下命令

Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://community.chocolatey.org/install.ps1'))

使用

# 搜索
choco search <name>
# 列出包
choco list
choco list -lo
# 安装
choco install <name>
# 固定包版本，防止包被升级
choco pin <name>
# 包升级
choco upgrade <name>
# 卸载包 
choco uninstall <name>

例子

1
2

choco install make # 安装make工具
choco install ruby # 安装ruby

Go 标准库OS包详解

Northes — Tue, 25 Jan 2022 10:48:23 +0800

文件操作相关

// 获取当前工作目录的根路径
func Getwd()(dir string, err error)

// 将工作目录修改为dir
func Chdir(dir string) error {}

// 修改name文件或文件夹的权限（对应linux的chmod命令）
func Chmod(name string, mode FileMode) error {}

// 修改name文件或文件夹的用户和组（对应linux的chmod命令）
func Chown(name string, uid, gid int) error {}

// 使用指定的权限和名称创建文件夹（对应linux的mkdir命令）
func Mkdir(name string, perm FileMode) error {}

// 使用指定的权限和名称创建一个文件夹，并自动创建父级目录（对应linux的mkdir -p命令）
func MakedirAll(path name, perm FileMode) error {}

// 修改一个文件或文件夹的名称（对应linux的mv命令）
func Rename(oldpath, newpath string) error{}

// 删除指定的文件夹或目录，不能递归删除，只能删除一个空文件夹或一个文件（对应linux的rm命令）
func Remove(name string) error {}

// 递归删除文件夹或者文件（对应linux的rm -rf命令）
func RemoveAll(path string) error {}

// 根据提供的文件名创建新的文件，返回一个文件对象，默认权限是0666
func Create(name string) (file *File, err error) {}

// 根据文件描述符创建相应的文件，返回一个文件对象
func NewFile(fd uintptr, name string) *File {}

// 只读的方式打开一个名称为name的文件，返回一个*File和一个err
func Open(name string) (file *File, err error) {}

// 打开名称为name的文件，flag是打开的方式，只读、读写等，perm是权限
func OpenFile(name string, flag int,perm uint32) (file *File, err error) {}

// 获取文件名
func (file *File) Name() string {}
// 获取文件的信息，里面有文件的名称，大小，修改时间
func (f *File) Stat() (fi FileInfo, err error)  {}
// 写入byte类型的信息到文件
func (f *File) Write(b []byte) (n int, err error)  {}
// 在指定的位置开始写入byte类型的信息
func (f *File) WriteAt(b []byte, off int64) (n int, err error) {}
// 写入string类型的信息到文件
func (f *File) WriteString(s string) (n int, err error) {}
// 读取数据到b中
func (f *File) Read(b []byte) (n int, err error) {}

示例

读文件1

	f, err := os.Open("./index.html")
	if err != nil {
		fmt.Println(err)
		return
	}
	defer f.Close()

	var buf [128]byte
	var content []byte
	for {
		n, err := f.Read(buf[:])
		if err == io.EOF {
			break
		}
		if err != nil {
			fmt.Println("read file error", err)
			return
		}
		content = append(content, buf[:n]...)
	}
	fmt.Println(string(content))

读文件2

	f, err := os.ReadFile("./index.html")
	if err != nil {
		fmt.Println(err)
		return
	}
	fmt.Println(string(f))

获取文件信息

	wd, _ := os.Getwd()
	fi, err := os.Stat(wd + "./index.html")
	if err != nil {
		fmt.Println(err)
		return
	}
	fmt.Println("文件名:", fi.Name())
	fmt.Println("文件大小:", fi.Size())
	fmt.Println("文件权限:", fi.Mode())
	fmt.Println("是否是一个目录:", fi.IsDir())
	fmt.Println("文件底层数据源:", fi.Sys())
	fmt.Println("文件修改时间:", fi.ModTime())

获取信息

// 获取主机名
func Hostname() (name string, err error)

// 返回表示环境变量的格式为”key=value”的字符串的切片拷贝
func Environ() []string 

// 获取某个环境变量
func Getenv(key string) string 

// 设置一个环境变量,失败返回错误，经测试当前设置的环境变量只在 当前进程有效（当前进程衍生的所以的go程都可以拿到，子go程与父go程的环境变量可以互相获取）；进程退出消失
func Setenv(key, value string) error 

// 删除当前程序已有的所有环境变量。不会影响当前电脑系统的环境变量，这些环境变量都是对当前go程序而言的
func Clearenv()

// 让当前程序以给出的状态码（code）退出。一般来说，状态码0表示成功，非0表示出错。程序会立刻终止，defer的函数不会被执行。
func Exit(code int)  

// 获取调用者的用户id
func Getuid() int 

// 获取调用者的有效用户id
func Geteuid() int 

// 获取调用者的组id
func Getgid() int 

// 获取调用者的有效组id
func Getegid() int 

// 获取调用者所在的所有组的组id
func Getgroups() ([]int, error) 

// 获取调用者所在进程的进程id
func Getpid() int  

// 获取调用者所在进程的父进程的进程id
func Getppid() int 

// 返回一个用于保管临时文件的默认目录
func TempDir() string

示例

	hostname, _ := os.Hostname()
	fmt.Println("主机名:", hostname)

	fmt.Println("gopath环境变量:", os.Getenv("GOPATH"))

	os.Setenv("test", "test") // 设置环境变量
	fmt.Println("上一步设置的test环境变量:", os.Getenv("test"))

	os.Clearenv() // 清除当前程序的所以环境变量
	fmt.Println("清理后的环境变量test和GOPATH:", os.Getenv("test"), os.Getenv("GOPATH"))

	fmt.Println("调用者的用户id:", os.Getuid())
	fmt.Println("调用者的有效用户id:", os.Geteuid())
	fmt.Println("调用者的组id:", os.Getgid())
	fmt.Println("调用者的有效组id:", os.Getegid())

	sli, _ := os.Getgroups()
	fmt.Println("调用者所在的所有组的组id:", sli) //

	fmt.Println("调用者所在进程的进程id:", os.Getpid())
	fmt.Println("调用者所在进程的父进程的进程id:", os.Getppid())

一些判断方法

// 判断c是否是一个路径分隔符
func IsPathSeparator(c uint8) bool
// 判断一个错误是否是文件已存在
func IsExist(err error) bool
// 判断一个错误是否是文件不存在
func IsNotExist(err error) bool
// 判断一个错误是否是权限不足
func IsPermission(err error) bool

Go 内存模型

Northes — Thu, 13 Jan 2022 22:10:50 +0800

翻译整理自 https://go.dev/ref/mem

介绍

如何保证在一个 goroutine 中看到在另一个 goroutine 修改的变量的值，这篇文章进行了详细说明。

建议

如果程序中修改数据时有其他 goroutine 同时读取，那么必须将读取串行化。为了串行化访问，请使用 channel 或其他同步原语，例如 sync 和 sync/atomic 来保护数据。

先行发生

在一个 goroutine 中，读和写一定是按照程序中的顺序执行的。即编译器和处理器只有在不会改变这个 goroutine 的行为时才可能修改读和写的执行顺序。由于重排，不同的 goroutine 可能会看到不同的执行顺序。例如，一个 goroutine 执行 a = 1;b = 2; 另一个 goroutine 可能看到 b 在 a 之前更新。

为了说明读和写的必要条件，我们定义了先行发生（Happens Before）– Go 程序中执行内存操作的偏序。

如果事件 e1 发生在 e2 前，我们可以说 e2 发生在 e1 后。
如果 e1 不发生在 e2 前也不发生在 e2 后，我们就说 e1 和 e2 是并发的。

在单独的goroutine中先行发生的顺序即是程序中表达的顺序。

当下面条件满足时，对变量v的读操作r是被允许看到对v的写操作w的：

r不先行发生于w
在w后r前没有对v的其他写操作

为了保证对变量v的读操作r看到对v的写操作w,要确保w是r允许看到的唯一写操作。即当下面条件满足时，r 被保证看到w：

w先行发生于r
其他对共享变量v的写操作要么在w前，要么在r后。

这一对条件比前面的条件更严格，需要没有其他写操作与w或r并发发生。

什么是 CI/CD

Northes — Tue, 11 Jan 2022 11:34:36 +0800

概述

CI/CD 是一种通过在应用开发阶段引入自动化来频繁向客户交付应用的方法。CI/CD 的核心概念是持续集成、持续交付和持续部署。作为一个面向开发和运营团队的解决方案，CI/CD 主要针对在集成新代码时所引发的问题（亦称：“集成地狱”）。

具体而言，CI/CD 可让持续自动化和持续监控贯穿于应用的整个生命周期（从集成和测试阶段，到交付和部署）。这些关联的事务通常被统称为"CI/CD 管道"，由开发和运维团队以敏捷方式协同支持。

CI 是什么？CI 和 CD 有什么区别？

缩略词 CI / CD 具有几个不同的含义。CI/CD 中的"CI"始终指持续集成，它属于开发人员的自动化流程。成功的 CI 意味着应用代码的新更改会定期构建、测试并合并到共享存储库中。该解决方案可以解决在一次开发中有太多应用分支，从而导致相互冲突的问题。

CI/CD 中的"CD"指的是持续交付和/或持续部署，这些相关概念有时会交叉使用。两者都事关管道后续阶段的自动化，但它们有时也会单独使用，用于说明自动化程度。

持续交付通常是指开发人员对应用的更改会自动进行错误测试并上传到存储库（如 GitHub 或容器注册表），然后由运维团队将其部署到实时生产环境中。这旨在解决开发和运维团队之间可见性及沟通较差的问题。因此，持续交付的目的就是确保尽可能减少部署新代码时所需的工作量。

持续部署（另一种"CD"）指的是自动将开发人员的更改从存储库发布到生产环境，以供客户使用。它主要为了解决因手动流程降低应用交付速度，从而使运维团队超负荷的问题。持续部署以持续交付的优势为根基，实现了管道后续阶段的自动化。

CI/CD 既可能仅指持续集成和持续交付构成的关联环节，也可以指持续集成、持续交付和持续部署这三项构成的关联环节。更为复杂的是，有时"持续交付"也包含了持续部署流程。

归根结底，我们没必要纠结于这些语义，您只需记得 CI/CD 其实就是一个流程（通常形象地表述为管道），用于实现应用开发中的高度持续自动化和持续监控。因案例而异，该术语的具体含义取决于 CI/CD 管道的自动化程度。许多企业最开始先添加 CI，然后逐步实现交付和部署的自动化（例如作为云原生应用的一部分）。

CI 持续集成（Continuous Integration）

现代应用开发的目标是让多位开发人员同时处理同一应用的不同功能。但是，如果企业安排在一天内将所有分支源代码合并在一起（称为"合并日"），最终可能造成工作繁琐、耗时，而且需要手动完成。这是因为当一位独立工作的开发人员对应用进行更改时，有可能会与其他开发人员同时进行的更改发生冲突。如果每个开发人员都自定义自己的本地集成开发环境（IDE），而不是让团队就一个基于云的 IDE 达成一致，那么就会让问题更加雪上加霜。

持续集成（CI）可以帮助开发人员更加频繁地（有时甚至每天）将代码更改合并到共享分支或"主干"中。一旦开发人员对应用所做的更改被合并，系统就会通过自动构建应用并运行不同级别的自动化测试（通常是单元测试和集成测试）来验证这些更改，确保这些更改没有对应用造成破坏。这意味着测试内容涵盖了从类和函数到构成整个应用的不同模块。如果自动化测试发现新代码和现有代码之间存在冲突，CI 可以更加轻松地快速修复这些错误。

CD 持续交付（Continuous Delivery）

完成 CI 中构建及单元测试和集成测试的自动化流程后，持续交付可自动将已验证的代码发布到存储库。为了实现高效的持续交付流程，务必要确保 CI 已内置于开发管道。持续交付的目标是拥有一个可随时部署到生产环境的代码库。

在持续交付中，每个阶段（从代码更改的合并，到生产就绪型构建版本的交付）都涉及测试自动化和代码发布自动化。在流程结束时，运维团队可以快速、轻松地将应用部署到生产环境中。

CD 持续部署（Continuous Deployment）

对于一个成熟的 CI/CD 管道来说，最后的阶段是持续部署。作为持续交付——自动将生产就绪型构建版本发布到代码存储库——的延伸，持续部署可以自动将应用发布到生产环境。由于在生产之前的管道阶段没有手动门控，因此持续部署在很大程度上都得依赖精心设计的测试自动化。

实际上，持续部署意味着开发人员对应用的更改在编写后的几分钟内就能生效（假设它通过了自动化测试）。这更加便于持续接收和整合用户反馈。总而言之，所有这些 CI/CD 的关联步骤都有助于降低应用的部署风险，因此更便于以小件的方式（而非一次性）发布对应用的更改。不过，由于还需要编写自动化测试以适应 CI/CD 管道中的各种测试和发布阶段，因此前期投资还是会很大。

来源 https://www.redhat.com/zh/topics/devops/what-is-ci-cd

使用 Dockerfile 构建镜像

Northes — Tue, 11 Jan 2022 09:10:16 +0800

构建

命令

1
2

docker build .
docker build -f xx.yaml -t name:tag .

忽略

通过 .dockerignore 文件指定构建时忽略的文件

构建过程

docker build 会将 context 中的文件打包发送给 Docker daemon。如果 context 中有 .dockerignore 文件，则会从上传列表中删除满足 .dockerignore 规则的文件

.dockerignore 文件中如果指定有 .dockerignore 和 Dockerfile ，是不会被忽略的

docker build 命令想 Docker server 发送 HTTP 请求，请求 Docker server 构建镜像，请求中包含了需要的 context 信息
Docker server 接收到构建请求后，会执行以下操作：
- 创建一个临时目录，将 context 中的文件解压到该目录下
- 读取并解析 Dockerfile ，遍历其中的命令，根据命令类型分发到不同的模块去执行
- Docker 构建引擎为每一条指令构建一个临时容器，在临时容器中执行指令，然后 commit 容器，生成一个新的镜像层
- 最后，将所有构建出来的镜像层合并，形成 build 的最后结果。最后一次 commit 生成的镜像ID 就是最终的镜像ID

为了提高构建效率，docker build 默认会缓存已有的镜像层。如果构建镜像时发现某个镜像层已经被缓存，就会直接使用该镜像层（后面会说到如何更好地利用这一特性）。如不想使用缓存的镜像，docker build 时可以加上 --no-cache=true

GitHub Action 入门 && 徽章

Northes — Sun, 09 Jan 2022 23:18:05 +0800

GitHub Action

GitHub Action 是 GitHub 推出的 CI/CD 服务

CI/CD

参考文章什么是CI/CD

Workflow 配置文件

GitHub Actions 的配置文件称为 workflow 文件，统一放在项目的 .github/workflows 目录下

GitHub 只要发现目录下存在 .yml 文件，就会自动运行该文件

.yml 文件没有命名及数量限制

workflow 的配置字段非常多，详细可看官方文档

示例

常用字段解析

.github/workflows/test.yml

name: Test # workflow 名
#on: [push,pull_request] # 在哪些动作下触发本workflow
on: # 也可以写成这样
  push: # 指定触发事件
    branches: # 分支
      - main
  pull_request: null # 指定所有的拉取请求都触发

jobs: # 主体字段，表示执行的一项或多项任务
  my_first_job: # job id
    name: My first job # 任务说明
    runs-on: ubuntu-latest # 指定运行所需要的虚拟机环境，必填字段
    env: # 当前job的环境变量
      MODE: dev
    steps: # 指定每个 job 的运行步骤，可以有一个或多个
      - name: print a greeting # 步骤名称
        env: # 当前步骤的环境变量
          NAME: northes
        run: | # 运行命令
          echo Hello $NAME
  my_second_job:
    name: My second job
    needs: [ my_first_job ] # 规定当前任务的依赖关系，即运行顺序。my_second_job 需要在 my_first_job 之后运行
    runs-on: ubuntu-latest
    steps:
      - name: print
        run: | # 运行命令
          echo This is second job

Go项目构建与测试

.github/workflows/go.yml

Go 错误处理实践

Northes — Sat, 08 Jan 2022 19:34:08 +0800

Errors are values – Rob Pike

Go 中的 error

Go error 就是普通的一个接口

1
2
3

type error interface {
	Error() string
}

只要实现了这个接口的都可以当做 error

使用 errors.New() 返回一个 error 对象

func New(text string) error {
	return &errorString{text}
}

// errorString is a trivial implementation of error.
type errorString struct {
	s string
}

func (e *errorString) Error() string {
	return e.s
}

errors.Nwe() 返回的是 errorString 的指针。主要是因为如果不返回指针，在进行error比较的时候会碰串，导致两个不同的错误相等

Elasticsearch - 倒排索引

Northes — Wed, 29 Dec 2021 15:52:05 +0800

为创建倒排索引，es首先将每个文档的 content 域拆分成单独的词（词条 || Tokens），并创建一个包含所有不重复词条的排序列表，然后记录每个词条出现在哪个文档。

倒排索引

倒排索引包含两个部分
1. 单词词典，记录所有文档的单词，记录单词到倒排列表的关联关系
  - 单词词典一般比较大，可以通过 B+ 树或者哈希拉链法实现，以满足高性能的插入与查询
2. 倒排列表，记录了单词对应的文档结合，由倒排索引项组成
  - 倒排索引项
    1. 文档 ID - 文档唯一ID
    2. 词频 TF - 该单词在文档中出现的次数，用于相关性评分
    3. 位置 Position - 单词在文档中分词的位置。用于语句搜索（phrase query）
    4. 偏移 Offset - 记录单词的开始结束位置，实现高亮显示
Elasticsearch 的 JSON 文档中的每个字段，都有自己的倒排索引
可以在 Mapping 中指定对某些字段不做索引
- 优点：节省存储空间
- 缺点：字段无法被搜索

直观的例子

图书
- 正排索引 - 目录页
- 倒排索引 - 索引页
搜索引擎
- 正排索引 - 文档 id 到文档内容和单词的关联
- 倒排索引 - 单词到文档id 的关系

Elasticsearch - 游标

Northes — Wed, 29 Dec 2021 14:36:31 +0800

游标（scroll）可以用来对 Elasticsearch 进行有效的大批量文档查询，而有不用付出深度分页的性能代价

游标允许我们先做查询初始化，然后再批量地拉取结果。

分布式系统中的深度分页

Elasticsearch 会将查询广播到每一个分片索引（主分片，副本分片），再将各分片中搜索到结果汇总处理进行返回。

假设我们在5个主分片的索引中搜索，当我们请求结果的第一页（结果从1到10），每一个分片产生前10的结果，并返回给协调节点，协调节点对50个结果排序得到全部结果的前10个。现在假设我们请求第1000页（结果从10001到10010）。每一个分片都产生10010个结果返回，协调节点对全部50050个结果排序，最后丢弃掉这些结果中的50040个结果。单这么一看这些数字都会觉得十分浪费资源。

在分布式系统中，对结果排序的成本随分页的深度成指数上升。这就是Web搜索引擎对任何查询都不要返回超过1000个结果的原因

以Google为例，同一搜索词每次只返回9页，每页20条。当跳转到第9页的最下面时，会提示“是否展示折叠的结果”。如果选择是，此时可以理解为将使用游标进行查询。

小数据量分页使用 form size 即可

使用

GET //_search?scroll=1m

{
  "query": {"match_all":{}},
  "sort": ["_doc"],
  "size": 1000
}

保存游标查询窗口一分钟

查询返回的结果中会有 _scroll_id 的字段，使用他进行下一次请求

{
  "_scroll_id": "FGluY2x1ZGVfY29udGV4dF91dWlkDXF1ZXJ5QW5kRmV0Y2gBFE1Zd01CWDRCRnRBOVVIcUZqNW1BAAAAAAAAAEcWNE5MOVNxRnJRLU9EQ3lmaUlleVdGUQ==",
  ...
}

返回下一批 size 大小的结果，size 在首次请求时定义

POST /_search/scroll

{
    "scroll": "1m",
    "scroll_id": "FGluY2x1ZGVfY29udGV4dF91dWlkDXF1ZXJ5QW5kRmV0Y2gBFE1Zd01CWDRCRnRBOVVIcUZqNW1BAAAAAAAAAEcWNE5MOVNxRnJRLU9EQ3lmaUlleVdGUQ=="
}

再次将游标查询过期时间设置为一分钟（此刻往后一分钟过期），过期再使用旧 _scroll_id 请求会报404

当没有更多的结果返回时，代表处理完所有文档了。

Elasticsearch - 分词

Northes — Sat, 25 Dec 2021 17:40:59 +0800

分词

直接指定 Analyzer

GET _analyze

standard

默认分词器，按词切分，大写转小写，停用词默认关闭

{
    "analyzer":"standard",
    "text":"2 running Quick brown-foxes leap over lazy dogs in the summer evening"
}

{
	"tokens": [
		{
			"token": "2",
			"start_offset": 0,
			"end_offset": 1,
			"type": "<NUM>",
			"position": 0
		},
		{
			"token": "running",
			"start_offset": 2,
			"end_offset": 9,
			"type": "<ALPHANUM>",
			"position": 1
		},
		...
		{
			"token": "evening",
			"start_offset": 62,
			"end_offset": 69,
			"type": "<ALPHANUM>",
			"position": 12
		}
	]
}

停用词是指在信息检索中，为节省存储空间和提高搜索效率，在处理自然语言数据（或文本）之前或之后会自动过滤掉某些字或词。如 in ，the 等

Elasticsearch - 文档 CRUD

Northes — Sat, 25 Dec 2021 01:16:55 +0800

First

blogs 为我定义的索引名称

Create

POST blogs/_doc

PUT blogs/_create/1

PUT blogs/_doc/1?op_type=create

1 为文档id

{
  "title": "foo",
  "content": "bar"
}

支持自动生成文档id和指定文档id两种方式
通过调用 POST /blogs/_doc 系统会自动生成 document ID
通过调用 PUT /blogs/_create/1 创建时，URI中显式指定 _create ，此时如果该 id 的文档已经存在，操作失败
不存在的字段会自动创建

Get

GET blogs/_doc/1

1 为文档id

成功找到文档 HTTP 200
找不到文档返回 HTTP 404

Index

PUT blogs/_doc/1

1 为文档id

index 和 create 不一样的地方：

如果文档不存在，就索引新的文档
否则，现有文档会被删除，新的文档被索引。同时版本信息 +1

example

旧的：

{
    "_index": "blogs",
    "_type": "_doc",
    "_id": "1",
    "_version": 1,
    "_seq_no": 0,
    "_primary_term": 2,
    "found": true,
    "_source": {
        "title": "11",
        "content": "22"
    }
}

调用index后新的：

Elasticsearch - 节点与集群

Northes — Sat, 25 Dec 2021 00:20:04 +0800

分片

PUT /blogs

{
    "settings":{
        "number_of_shards": 3,
        "number_of_replicas":1
    }
}

集群

集群健康状态

GET _cluster/health

status

Green 主分片与副分片都正常分配
Yellow 主分片全部正常分配，有副本分片未能正常分配
Red 与主分片未能分配

例如，当服务器的磁盘容量超过85%时，去创建了一个新的索引。就会 red

节点

Elasticsearch - 文档

Northes — Sat, 25 Dec 2021 00:05:43 +0800

索引，文档 - 逻辑概念

节点，分片 - 物理概念

文档

关系型数据库中的一条记录序列化成json保存每一条文档都有一个uid，可以自己指定，可以es生成

{
    "_index": "blogs",
    "_type": "_doc",
    "_id": "1",
    "_version": 1,
    "_seq_no": 0,
    "_primary_term": 2,
    "found": true,
    "_source": {
        "title": "11",
        "content": "22"
    }
}

字段	解释
_index	文档所属的索引名
_type	文档所属的类型，7.0后只能为_doc
_id	文档唯一id
_source	文档的原始json数据
_version	文档版本信息
_score	相关性打分

与关系型数据库

RDBMS	Elasticsearch
Table - 表	Index(Type)
Row - 记录	Document
Column - 字段	Field
Schema - 表定义	Mapping
SQL - 查询语句	DSL

Elasticsearch：相关性 / 高性能全文检索 / Schemaless

Elasticsearch - 入门

Northes — Wed, 22 Dec 2021 23:21:09 +0800

Elasticsearch

目录	配置文件	描述
bin		脚本文件，包括启动es，安装插件。运行统计数据等
config	elasticsearch.yml	集群配置文件，user，role based 相关配置
JDK		Java 运行环境
data	path.data	数据文件
lib		Java 类库
logs	path.log	日志文件
modules		包含所有ES模块
plugins		包含所有已安装插件

设置

config/jvm.options

java 虚拟机的配置

Xmx和Xms设置成一样的

一般Xmx不要超过机器内存50%，如果占用过多内存，可设置为

1
2

-Xms512m
-Xmx512m

插件

bin 目录下

# 参看安装的插件
$ elasticsearch-plugin list
# 或者  [host]/_cat/plugins

# 安装插件
$ elasticsearch-plugin install ik

节点

单机启动多节点

Kubernetes - Kubectl高效使用

Northes — Sat, 18 Dec 2021 14:46:34 +0800

自动补全

# bash
echo "source <(kubectl completion bash)" >> ~/.bashrc
# 别名
echo "alias 'k'='kubectl'" >> ~/.bashrc

设置完成需要重新载入，命令：source ~/.bashrc

Deployment

# 部署应用
kubectl apply -f xxx.yaml
# 部署整个目录
kubectl apply -f .
# 部署多个
kubectl apply -f xxx.yml yyy.yml
# 查看 deployment
kubectl get deployment
kubectl get deploy
# 查看pod(wide以纯文本格式输出，包含附加信息。也可使用json|yaml等其他格式)
kubectl get pod -o wide
# 查看pod详情
kubectl describe pod <pod-name>
# 获取所有匹配app:nginx的pod的信息（在命令行中，所有key-value格式的参数都是用=，而不是:）
# -l 筛选labels
kubectl get pods -l app=nginx
# 查看log
kubectl logs <pod-name>
# 进入pod容器终端(-c 指定容器名)
kubectl exec -it <pod-name> -- bash
kubectl exec -it <pod-name> -c <container-name> -- bash
# 伸缩拓展副本
kubectl scale deployment <name> --replicas=5
# 把集群内端口映射到节点(通过访问集群ip:8090即可访问到指定pod的8080端口)
kubectl port-forward <pod-name> 8090:8080
# 查看历史
kubectl rollout history deployment <name>
# 回滚到上个版本
kubectl rollout undo deployment <name>
# 回滚到指定版本
kubectl rollout undo deployment <name> --to-version=2
# 删除部署
kubectl delete deployment <name>

资源后加

Kubernetes - 安装、集群创建

Northes — Sat, 18 Dec 2021 14:39:22 +0800

MiniKube

https://minikube.sigs.k8s.io/docs/

docker 提示没有权限

adduser test
passwd test
sudo groupadd docker
su kube
sudo usermod -aG docker $USER
newgrp docker

xxxis not in the sudoers file. This incident will be reported.

su
chmod u+w /etc/sudoers
vi /etc/sudoers
# 找到这行 root ALL=(ALL) ALL,在他下面添加xxx ALL=(ALL) ALL (这里的xxx是你的用户名)
kube ALL=(ALL) ALL
chmod u-w /etc/sudoers

然后重新走上面的解决 docker 报无权限的流程

minikube start 过程中拉取镜像慢

如已经初始化了 minikube start 则需要先执行 minikube delete 删除 minikube 初始化的环境

Linux 常用命令

Northes — Fri, 17 Dec 2021 23:31:02 +0800

软连接

ln

查找 cli 位置

`1`	`whereis docker`

查看 IP

1
2

ifconfig
ip addr

查看端口占用

`1`	`lsof -i:端口号`

lsof -i:8080：查看8080端口占用
lsof abc.txt：显示开启文件abc.txt的进程
lsof -c abc：显示abc进程现在打开的文件
lsof -c -p 1234：列出进程号为1234的进程所打开的文件
lsof -g gid：显示归属gid的进程情况
lsof +d /usr/local/：显示目录下被进程开启的文件
lsof +D /usr/local/：同上，但是会搜索目录下的目录，时间较长
lsof -d 4：显示使用fd为4的进程
lsof -i -U：显示所有打开的端口和UNIX domain文件

netstat -ntlp   //查看当前所有tcp端口
netstat -ntulp | grep 80   //查看所有80端口使用情况
netstat -ntulp | grep 3306   //查看所有3306端口使用情况
netstat -anlp | grep -w LISTEN

查看数据链路

`1`	`traceroute <ip>`

关机

# 一分钟后关机
shutdown
# 取消关机
shutdown -c
# 立即关机
shutdown now

时间/时区修改

查看当前系统时间

date -R

设置系统时区

`1`	`timedatectl set-timezone Asia/Shanghai`

互联网同步时间

# 关闭
timedatectl set-ntp 0
# 开启
timedatectl set-ntp 0

文件大小

# 查看文件夹大小
du -sh .
# 查看文件大小(Byte)
ls -ll
# 查看文件大小(KB,MB)
ls -lh

安装 cli 到指定位置

`1`	`install -m 555 argocd-linux-amd64 /usr/local/bin/argocd`

查看域名DNS解析

`1`	`dig xxx.com`

展示当前系统中正在运行的进程的树状结构

`1`	`pstree -g`

Go-Kratos 手摸手 | 入门

Northes — Sat, 04 Dec 2021 20:49:13 +0800

安装

1. protoc

前往 Protobuf releases 页下载对应版本的 protobuf 到本地，解压，将解压后的 bin include 一并复制到 GOPATH 目录下

2. kratos

`1`	`go get -u github.com/go-kratos/kratos/cmd/kratos/v2@latest`

注意，首次执行 kratos protoc 相关命令时，会自动下载 protoc-gen-go protoc-gen-go-http protoc-gen-go-grpc protoc-gen-go-errors protoc-gen-validate 等二进制文件到 GOPATH/bin 目录下

3. make （windows，选装）

参考 How to install and use make in windows [stackoverflow]

推荐使用 chocolatey 的方式

以管理员身份运行 Powershell，运行以下命令

Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://community.chocolatey.org/install.ps1'))

安装完成后运行以下命令

`1`	`choco install make`

使用 make --version 检查是否安装成功

PostgreSQL 查看表结构

Northes — Thu, 16 Sep 2021 16:57:13 +0800

查看所有表结构

SELECT C
	.relname 表名,
	CAST ( obj_description ( relfilenode, 'pg_class' ) AS VARCHAR ) 名称,
	A.attname 字段,
	concat_ws (
	'',
	T.typname,
	SUBSTRING ( format_type ( A.atttypid, A.atttypmod ) FROM '\(.*\)' )) AS 列类型,
	d.description 字段备注
FROM
	pg_class C,
	pg_attribute A,
	pg_type T,
	pg_description d
WHERE
	A.attnum > 0
	AND A.attrelid = C.oid
	AND A.atttypid = T.oid
	AND d.objoid = A.attrelid
	AND d.objsubid = A.attnum
	AND C.relname IN ( SELECT tablename FROM pg_tables WHERE schemaname = 'public' AND POSITION ( '_2' IN tablename ) = 0 )
ORDER BY
	C.relname,
	A.attnum

查看所有表名

SELECT
	tablename 
FROM
	pg_tables 
WHERE
	schemaname = 'public' 
	AND POSITION ( '_2' IN tablename ) = 0;
SELECT
	* 
FROM
	pg_tables;

查看表名和备注

SELECT
	relname AS tabname,
	CAST ( obj_description ( relfilenode, 'pg_class' ) AS VARCHAR ) AS COMMENT 
FROM
	pg_class C 
WHERE
	relname IN ( SELECT tablename FROM pg_tables WHERE schemaname = 'public' AND POSITION ( '_2' IN tablename ) = 0 );
SELECT
	* 
FROM
	pg_class;

查看特定表名和备注

SELECT
	relname AS tabname,
	CAST ( obj_description ( relfilenode, 'pg_class' ) AS VARCHAR ) AS COMMENT 
FROM
	pg_class C 
WHERE
	relname = '表名';

查看特定表名字段

SELECT A
	.attnum,
	A.attname,
	concat_ws (
	'',
	T.typname,
	SUBSTRING ( format_type ( A.atttypid, A.atttypmod ) FROM '\(.*\)' )) AS TYPE,
	d.description 
FROM
	pg_class C,
	pg_attribute A,
	pg_type T,
	pg_description d 
WHERE
	C.relname = '表名' 
	AND A.attnum > 0 
	AND A.attrelid = C.oid 
	AND A.atttypid = T.oid 
	AND d.objoid = A.attrelid 
	AND d.objsubid = A.attnum;

Select 语句

Northes — Tue, 14 Sep 2021 14:56:19 +0800

总结

select 不存在任何的 case：永久阻塞当前 goroutine
select 只存在一个 case：阻塞的发送/接收
select 存在多个 case：随机选择一个满足条件的case执行
select 存在 default，其他case都不满足时：执行default语句中的代码

实现优先级

// kubernetes/pkg/controller/nodelifecycle/scheduler/taint_manager.go 
func (tc *NoExecuteTaintManager) worker(worker int, done func(), stopCh <-chan struct{}) {
	defer done()

	// 当处理具体事件的时候，我们会希望 Node 的更新操作优先于 Pod 的更新
	// 因为 NodeUpdates 与 NoExecuteTaintManager无关应该尽快处理
	// -- 我们不希望用户(或系统)等到PodUpdate队列被耗尽后，才开始从受污染的Node中清除pod。
	for {
		select {
		case <-stopCh:
			return
		case nodeUpdate := <-tc.nodeUpdateChannels[worker]:
			tc.handleNodeUpdate(nodeUpdate)
			tc.nodeUpdateQueue.Done(nodeUpdate)
		case podUpdate := <-tc.podUpdateChannels[worker]:
			// 如果我们发现了一个 Pod 需要更新，我么你需要先清空 Node 队列.
		priority:
			for {
				select {
				case nodeUpdate := <-tc.nodeUpdateChannels[worker]:
					tc.handleNodeUpdate(nodeUpdate)
					tc.nodeUpdateQueue.Done(nodeUpdate)
				default:
					break priority // 不可以不跟LABEL，因为select里也有break，
					// 单纯调用break只会退出select。而不会退出外层的for
				}
			}
			// 在 Node 队列清空后我们再处理 podUpdate.
			tc.handlePodUpdate(podUpdate)
			tc.podUpdateQueue.Done(podUpdate)
		}
	}
}

Goconvey 测试框架

Northes — Fri, 03 Sep 2021 13:59:46 +0800

开始

官网

http://goconvey.co/

仓库

https://github.com/smartystreets/goconvey

安装

`1`	`go get github.com/smartystreets/goconvey`

例子

main.go

package main

import "errors"

func Add(a, b int) int {
	return a + b
}

func Subtract(a, b int) int {
	return a - b
}

func Multiply(a, b int) int {
	return a * b
}

func Division(a, b int) (int, error) {
	if b == 0 {
		return 0, errors.New("被除数不能为 0 ")
	}
	return a / b, nil
}

main_test.go

Git 常用命令

Northes — Mon, 23 Aug 2021 20:15:24 +0800

初始化

`1`	`git init`

提交

`1`	`git commit`

暂存

git add

远程

# 克隆
git cone

# 拉取
git pull

# 推送
git push

分支

# 查看所有分支
git branch  

# 新建分支
git branch <分支名>

# 切换到对应的分支  
git checkout <分支名>  

# 新建分支并切换到新分支上
git checkout -b <分支名>

合并

# 将分支名合并到当前所在的分支
git merge <分支名> 

# 将当前分支的内容合并到分支名
git rebase <分支名>

查看HEAD指向

cat .git/HEAD

# 将HEAD指向到指定记录(移动到指定哈希值的提交记录上)
git checkout <提交记录哈希值>

相对引用

# 将HEAD指向他的父节点
git checkout <分支名\哈希值>^ 

# 将HEAD向上移动<数字>次
# (~后跟的数字可选，不跟数字等同^
git checkout <分支名\哈希值>~<数字>

强制切换

1
2

# 将分支强制切换到对应的记录
git branch -f <分支名> <哈希值>\<~数字>\<^>

撤销提交

## reset
# 将分支回退提交记录，本地就像从未提交过一样(仅本地，不适用远程)
git reset HEAD^ 

## revert
# 上一个提交记录复制，并创建一个提交记录，内容与上一个相同。此时可以推送至远程与他人共享撤销
git revert HEAD

提交记录

git log

# 追溯一个指定文件的历史修改记录。它能显示任何文件中每行最后一次修改的提交记录
git blame

在线模拟练习

https://learngitbranching.js.org/?locale=zh_CN

Golang 安装多版本

Northes — Tue, 27 Jul 2021 20:16:49 +0800

* 本方法可能需要科学上网，请自行解决

下载安装

目前本地版本为 go1.16,由于项目需要使用go-micro v2,因此需要多准备一个 go1.13~go1.14 的版本

`1`	`go get golang.org/dl/go1.13`

命令行中使用 go1.13 指定版本来代替 go 关键字如：

运行查看版本

`1`	`go1.13 version`

如果提示

`1`	`go1.13: not downloaded. Run 'go1.13 download' to install to C:\Users\North\sdk\go1.13`

则运行

`1`	`go1.13 download`

Goland 替换默认版本

设置 - Go - GOROOT

点击右边 + 号添加

C:\Users\XXX\sdk\go1.13

XXX 为本机用户名

之后使用 Goland 的终端默认版本都会为 go1.13 ，可以 Goland 的终端内照常使用 go 关键字了

微服务入门扫盲

Northes — Tue, 20 Jul 2021 21:35:53 +0800

RPC

(Remote Procedure Call) 远程过程调用

gRPC

是谷歌开源的一个rpc框架，go语言项目中常用

Protocol Buffers

// 版本号
syntax = "proto3";

// 包名
package protobufTest;

// go包名，生成后的pb包名为v1
option go_package = "apihut-server-test/api/helloworld/v1;v1";

// 定义的服务
service Product {
  rpc AddProduct(ProductInfo) returns (ResponseProduct);
}

// 枚举
enum XX {
  NORMAL = 0;
  SUCCESS = 1;
}


// 1 是字段标识符，不是赋值
// 尽量控制在 1~15 ，超过 15 会开两个结构体存储
// 字段名一般采用小写下划线的方式
// 每个 message 的字段标识都是从1开始
// 消息格式
message ProductInfo{
  int64 id = 1;
  string product_name = 2;
}

message ResponseProduct{
  int64 product_id = 1;
}

message GetIpRequest {
  string ip = 1;
}

message GetIpReply {
  // 重复的string,相当于数组
  repeated string info = 1; 
}


// 内嵌结构体
message Response{
  message Info{
    int64 id =1;
    string name =2;
    string version =3;
  }
  Info info = 1;
}

proto3字段不设置时会默认赋类型零值

如需判断字段是未赋值还是传0值，可引入 import "google/protobuf/wrappers.proto"; 包，并将 string 类型替换为 google.protobuf.StringValue

MySQL 常用命令

Northes — Sun, 27 Jun 2021 21:55:00 +0800

基础

连接

`1`	`$ mysql -h 127.0.0.1 -u root -P 33061 -p`

-h ：主机名，默认localhost

-P ：端口，默认3306

-u ：用户名

-p ：使用密码

退出

exit;

sql 语句注意以 ; 结尾

数据库

创建数据库

`1`	`create DATABASE <数据库名>;`

查看数据库

`1`	`show databases;`

选择数据库

`1`	`use <数据库名>;`

删除数据库

`1`	`drop database <数据库名>;`

数据表

创建数据表

`1`	`CREATE table table_name (column_name column_type);`

CREATE TABLE IF NOT EXISTS `runoob_tbl`(
   `runoob_id` INT UNSIGNED AUTO_INCREMENT,
   `runoob_title` VARCHAR(100) NOT NULL,
   `runoob_author` VARCHAR(40) NOT NULL,
   `submission_date` DATE,
   PRIMARY KEY ( `runoob_id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

查看数据表

`1`	`show tables;`

删除数据表

`1`	`drop table <数据表名> ;`

数据

插入数据

`1`	`INSERT INTO table_name (field1, field2,...fieldN) VALUES (value1, value2,...valueN);`

查找数据

查询所有

`1`	`select * from <table_name>;`

指定查询范围

`1`	`select * from <table_name> where id < 5;`

指定查询的字段

`1`	`select <field1>,<field2> from <table_name> where id=1;`

更新数据

更新全部

`1`	`UPDATE table_name SET field1=new_value1,field2=new_value2;`

更新指定范围

`1`	`UPDATE table_name SET field1=new_value1 WHERE id=1;`

删除数据

`1`	`DELETE FROM table_name WHERE id<5;`

UPX 学习笔记

Northes — Wed, 02 Jun 2021 09:45:36 +0800

下载&安装

发布页

https://upx.github.io/

项目地址

https://github.com/upx/upx

下载

https://github.com/upx/upx/releases

全局使用

将解压后的二进制文件夹添加到系统 PATH 以便全局使用

常用指令

版本：V3.96

查看版本

upx -V

默认压缩

`1`	`upx 程序名.exe`

较快压缩

`1`	`upx -1 程序名`

较好压缩

`1`	`upx -9 程序名`

最优压缩

`1`	`upx --best 程序名`

还原压缩

`1`	`upx -d 程序名`

测试是否是UPX压缩

`1`	`upx -t 程序名`

保留备份文件

`1`	`upx -k 程序名`

全部指令

*来源互联网

以下命令中文意思翻译的不好，请见谅

备注：当UPX.exe和待压缩文件在同一个目录下时可以直接使用upx -命令程序名.exe 当UPX.exe和待压缩文件不在同一个目录下时可以直接使用upx -命令程序完整目录+程序名.exe

默认压缩[upx 程序名.exe]
较快压缩[upx -1 程序名.exe]
较好压缩[upx -9 程序名.exe]
最优压缩[upx --best 程序名.exe]
还原压缩[upx -d 程序名.exe]
测试是否是UPX压缩[upx -t 程序名.exe]
显示UPX压缩清单[upx -l 程序名.exe]
显示UPX版本[upx -V]
显示UPX使用说明[upx -L]
UPX使用帮助[upx -h]
减少UPX压缩显示[upx -q 程序名.exe]
增加UPX压缩显示[upx -v 程序名.exe]
将UPX压缩另存为其它文件[upx -o 1.exe 程序名.exe]
强制压缩可疑文件[upx -f 程序名.exe]
保留备份文件[upx -k 程序名.exe]
不备份UPX压缩[upx --no-backup 程序名.exe]
无颜色UPX压缩[upx --no-color 程序名.exe]
UPX压缩无进度条显示[upx --no-progress 程序名.exe]
尝试所有可用的压缩方法和过滤器[慢][upx --brute 程序名.exe]
超级暴力尝试更多的压缩变体[非常慢] [upx --ultra-brute 程序名.exe]
保留额外数据[默认值][upx --overlay=copy 程序名.exe]
覆盖额外数据[upx --overlay=strip 程序名.exe]
不处理额外数据[upx --overlay=skip 程序名.exe]
压缩导出部分[upx --compress-exports=1 程序名.exe]
不压缩导出部分[upx --compress-exports=0 程序名.exe]
压缩所有图标[upx --compress-icons=3 程序名.exe]
压缩除第一个图标以外的所有图标[upx --compress-icons=1 程序名.exe]
压缩除第一个图标目录外的所有图标[默认值][upx --compress-icons=2 程序名.exe]
不压缩任何图标[upx --compress-icons=0 程序名.exe]
不压缩任何资源[upx --compress-resources=0 程序名.exe]
不压缩list指定的资源[upx --keep-resource=list 程序名.exe]
不剥离重定位[upx --strip-relocs=0 程序名.exe]
剥离重定位[upx --strip-relocs=1 程序名.exe]

滚动条美化

Northes — Mon, 31 May 2021 16:12:35 +0800

基础样式

/*定义滚动条高宽及背景 高宽分别对应横竖滚动条的尺寸*/
  ::-webkit-scrollbar{
    width: 7px;
    height: 7px;
    background-color: #F5F5F5;
  }

  /*定义滚动条轨道 内阴影+圆角*/
  ::-webkit-scrollbar-track {
    box-shadow: inset 0 0 6px rgba(0, 0, 0, 0.3);
    -webkit-box-shadow: inset 0 0 6px rgba(0, 0, 0, 0.3);
    border-radius: 10px;
    background-color: #F5F5F5;
  }

  /*定义滑块 内阴影+圆角*/
  ::-webkit-scrollbar-thumb{
    border-radius: 10px;
    box-shadow: inset 0 0 6px rgba(0, 0, 0, .1);
    -webkit-box-shadow: inset 0 0 6px rgba(0, 0, 0, .1);
    background-color: #c8c8c8;
  }

本博客样式

/*定义滚动条高宽及背景 高宽分别对应横竖滚动条的尺寸*/
::-webkit-scrollbar{
    width: 7px;
    height: 7px;
}

/*定义滚动条轨道 内阴影+圆角*/
::-webkit-scrollbar-track {
    border-radius: 10px;
}

/*定义滑块 内阴影+圆角*/
::-webkit-scrollbar-thumb{
    border-radius: 10px;
    background-color: #ced4da;
}

滚动条的出现导致页面闪动

Northes — Mon, 31 May 2021 15:51:56 +0800

在滚动条出现、消失之际页面会出现晃动，观感不佳

基础解决方案

添加以下

1
2
3

.wrap-outer {
    margin-left: calc(100vw - 100%);
}

或则

1
2
3

.wrap-outer {
    padding-left: calc(100vw - 100%);
}

代码解释

.wrap-outer 指的是居中定宽主体的父级，如果没有，创建一个（使用主体也是可以实现类似效果，不过本着宽度分离原则，不推荐）
calc 是 CSS3 中的计算方法
100vw 相对于浏览器的window.innerWidth，是浏览器的内部宽度，滚动条的宽度也计算在内，而100%则是可用宽度，是不含滚动条的宽度
于是，cala(100vw-100%) 就是浏览器滚动条的宽度大小（如果没有滚动条则是0），左右都有一个滚动条宽度（或都是0）被占用，主体内容就可以永远居中浏览器。

终极解决方案

大型项目实践已经验证相当具有可行性，放置于全局 CSS 中

html {
  overflow-y: scroll;
}

:root {
  overflow-y: auto;
  overflow-x: hidden;
}

:root body {
  position: absolute;
}

body {
  width: 100vw;
  overflow: hidden;
}

效果展示

本站已应用最终解决方案

Git Commit 规范指南

Northes — Fri, 28 May 2021 12:09:13 +0800

前言

Git 每次提交代码，都要写 Commit message（提交说明），否则就不允许提交。

一般来说，Commit message 应该清晰明了，说明本次提交的目的。

目前，社区有多种 Commit message 的写法规范。其中 Angular 规范是目前使用最广的写法。前端框架 Angular.js 项目采用的就是该规范。

格式

每次提交，Commit message 都包括三个部分 header , body , footer

<type>(<scope>): <subject>
<BLANK LINE>
<body>
<BLANK LINE>
<footer>

其中，header 是必须的，body 和 footer 可以省略

不管是哪部分，任何一行都不得超过72字符（或100个字符）。这是为了避免自动换行影响美观

Header部分只有一行，包括三个字段：type（必需）、scope（可选）和subject（必需）。

type

用于说明 commit 的类别，约定了两个主要 type，以及五个特殊 type，并扩充了其他 type。

主要

feat：新功能（feature）
fix：修补bug

特殊

docs：文档（documentation），只改动了文档部分
style：格式（不影响代码运行的变动），例如去掉空格、改变缩进
refactor：重构（即不是新增功能，也不是修改bug的代码变动）
test：添加测试或者修改现有测试
chore：构建过程或辅助工具的变动

扩充

build：改变构建流程，新增依赖库、工具、构造工具的或者外部依赖的改动，例如webpack，npm
perf：提高性能的改动
ci：自动化流程配置修改、与CI（持续集成服务）有关的改动
revert：回滚到上一个版本，执行git revert打印的message

如果type为 feat 和 fix ，则该 commit 将肯定出现在 Change log 之中。

当一次改动包括主要type 与特殊type 时，统一采用主要type。

scope

scope用于说明 commit 影响的范围，比如数据层、控制层、视图层等等，视项目不同而不同。

Docker 学习笔记

Northes — Fri, 28 May 2021 01:31:48 +0800

镜像

# 构建镜像
docker build .
# 指定Dockerfile & 指定构建的镜像名和tag
docker build -f Dockerfile -t name:tag .
# 列出所有镜像
docker images
# 列出包魂 something 的镜像
docker images | grep something
# 删除镜像（需要停止由本镜像创建的容器）
docker rmi 
# 修改镜像的名称和tag
docker tag <old:tag> <new:tag>
# 镜像详情
docker inspect
# 镜像层级历史（镜像是一层一层构建出来的，多阶构建只能查看最终镜像的层级）
docker history <name or hash>
docker image history <name or hash>
# 基于已存在的容器制作镜像
docker commit <hash> <name:tag>
# 保存镜像为文件(export 会丢失掉所有的镜像构建历史)
docker save <name or hash> | gzip > xxx-v1.0.0.tar.gz
docker export <name or hash> > xxx.tar.gz
# 从镜像文件载入镜像（import不常用）
docker load -i xxx.tar.gz
docker import - <name:tag> xxx.tar.gz

容器

# 运行容器（详见 `运行` 节）
docker run 
# 开始运行容器（容器需之前已创建）
docker start <name or hash>
# 停止运行容器
docker stop <name or hash>
# 重启容器（不会删除后重新创建）
docker restart <name or hash>
# 列出容器列表（同样可使用grep筛选）
docker ps
# 列出容器列表（包括已停止的）
docker ps -a 
# 删除容器
docker rm <name or hash>
# 进入容器（指定运行的终端）（输入exit退出）
docker exec
docker exec -it <name or hash> sh
docker exec -it <name or hash> bin/sh
docker exec -it <name or hash> bin/bash
# 重命名容器
docker rename <old_name> <new_name>
# 暂停容器运行
docker pause <name or hash>
# 清理无用的镜像、容器、数据卷
docker system prune -af --volumes 
# 清理镜像 -a 删除所有未使用的 -f 强制回收，跳过提示语句
docker image prune

运行

docker run

# 后台运行
-d
# 环境变量
-e MYSQL_ROOT_PASSWORD=123456
# 端口映射 宿主端口:容器端口
-p 80:80
# 阻塞运行
-it
# 文件[夹]映射  宿主路径:容器路径  （相对路径或绝对路径）
-v /suzhu:/rongqi
# 链接其他容器 容器名或hash:内部别名
--link mysql:mysql
# 运行结束后自动销毁
--rm
# 指定容器运行后的名字
--name
# 机器重启后是否自动运行
--restart always

一些栗子🌰

# MySQL
docker run -itd --name mysql-test -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7
# Redis
docker run -itd --name redis-test -p 6379:6379 redis
# Nginx
docker run --name nginx-test -p 8080:80 -d nginx
# MongoDB（--auth 需要密码才能访问）
docker run -itd --name mongo -p 27017:27017 mongo --auth

仓库相关

# 登录
docker login
# 登出
docker logout
# 推送
docker push
# 拉取
docker pull

Hugo 学习笔记

Northes — Fri, 28 May 2021 00:11:38 +0800

下载&安装

https://github.com/gohugoio/hugo

进入 releases 下载对应平台二进制文件

如果需要支持 scss 文件，需下载 extended 版本

添加二进制文件路径到 PATH 以全局使用

配置文件

TOML 格式

baseURL = "https://northes.io/"
languageCode = "zh-cn"
title = "Northes"
theme = "hugo-tania"

[params]
titleEmoji = "😃"

[menu]
header = [
    { name = "Articles", url = "/articles/", weight = 1 },
    { name = "About", url = "/about/", weight = 2 },
]


[markup.highlight]
noClasses = false
lineNos = true

YAML 格式

如不习惯TOML格式，可改为YAML

# 基础地址
baseurl: "https://example.com" 
# 语言代码
languageCode: "en-us"
# 标题
title: "Hugo Tania"
# 主题名称
theme: "hugo-tania"
# 首页展示的条数
paginate: 6


params:
  titleEmoji: '😃'
  socialOptions:
    github: https://github.com/WingLim
    email: email@example.com

# 菜单
menu:
  header:
    - name: Articles # 名称
      url: "/articles/" # 相对URL
      weight: 1 # 权重，升序
    - name: "About"
      weight: 2
      url: "/about"
    - name: "Rss"
      url: "/index.xml"
      weight: 3

markup:
  highlight:
    noClasses: false
    lineNos: true
  goldmark:
    renderer:
      unsafe: true #渲染原始html

文章前置信息

模板

一般为\archetypes目录下的default.md文件

Ethan

Harness Engineering：给大模型套上缰绳

什么是 Harness Engineering

Claude Code 代码检索选型思考

什么是代码检索

RAG 的工作原理

RAG 的水土不服

1. 代码切分的边界不好处理

2. 向量无法精确匹配

RAG 的基本原理

为什么需要 RAG

RAG 和核心流程

第一阶段：数据准备

Fumadocs 中使用 CDN 加载静态资源，兼容本地显示

从相对目录中加载图片

微信支付报错：无可用平台证书 解决方案

前言

名词解释

商户id、商户号（mcnId）

证书序列号（SerialNumber，SerialNo）

APIv3 Key

公钥、公钥ID

关于 Appsmith 的不吐不快

Zed 折腾指北

快捷键

uni-app 中使用微信小程序原生组件（TDesign）

初始化

在 uni-app 中使用 u-charts

官网

安装

复制文件

使用

在 uni-app 中使用 unocss

第三方库

uni-app 上手遇到的坑，我都踩了

脱离 HbuilderX 开发

更新 uni-app 版本

Uni-app 类型提示

微信小程序类型提示

Docker 开启 TCP 监听

修改

重启

验证

使用远程Docker守护进程

Cloudflare Tunnel 使用笔记

安装

登录

创建隧道

创建域名指向

挂载 SMB 目录

安装必要工具

挂载

例子

开机自动挂载

写入

测试验证

LXC 直通核显

直通

查看支持的解码器

LXC 下无法启动 Tailscale

参考

LXC 下无法启动 Containerd

创建特权容器

配置 LXC

LXC 内创建绑定脚本

Go 配置私有化仓库

初始化脚本

配置流程(Gitlab)

配置Go

配置SSH

配置Access Token

Shell 实用技巧

判断文件\文件夹件是否存在

Yaml 实用技巧

多行字符串配置方法

配置与显示都换行

使用 \n

使用 | |+ |-

配置换行，显示一行

直接写

微信支付报错：无可用平台证书解决方案

使用 `\n`

使用 `|` `|+` `|-`

使用 `>` `>+` `>-`