环境信息 项目 详情 GPU 4× 海光 Z100 DCU，每张 16GB，合计 64GB GPU 架构 gfx906 (Vega 20 / GCN 5.1) DTK 版本 DTK 26.04 (DCC2602-0317) Python 3.10.12 PyTorch 2.10.0+das.opt1.dtk2604 vLLM 0.18.1+das.3266200.dtk2604 Triton 3.4.0（从源码编译，替换原 3.4.0+git1ef59765） transformers 5.5.0 flash_at…

最近社区都在说 Muon 用在 LLM 上的训练效果要比 AdamW 好很多，这里根据 Kimi 的论文（http://arxiv.org/abs/2502.16982）和仓库做了一些尝试。 选用模型：minimind，Github 链接：https://github.com/jingyaogong/minimind 硬件：AutoDL自己租个 nv 的卡就行 常见的 AdamW 优化器就是在 Adam 的基础上在梯度更新时加上梯度衰减，这样的话可以避免更新的时候产生更大的参数。 而 Muon …

最近在翻一些距离算法并考虑他们的GPU并行化实现，记录一下。 这里从图片转成向量开始，利用opencv配合torchvision，转成tensor还是比较容易的。 这里的to_tensor的大致实现如下： 从熟悉的欧氏距离开始，一个经典的欧氏距离就是两点之间计算，公式如下： 在几何距离和数学建模常见的聚类（例如K-Means）计算相对常用。 对于两个点之间的差异，还有一个常用于网格路径优化的距离就是曼哈顿距离，本身的定义是两个坐标在坐标轴上的绝对值之和。 pytorch的快速实现： 此时就得引入范数的概念了，因为p…

无论是打数模还是单纯的搞机器学习，都需要对最后训练结果进行分析，这时候常用的四个指标：准确率、召回率、精确率、F1分数。 作为指标，一定会涉及几个方面 假设： TP (预测正确)：30个FN (漏检)：10个FP (误认为是)：15个TN (预测正确不是)：45个 这四个指标可以形成一个混淆矩阵： 1️⃣准确率 (Accuracy) 所有预测结果中，预测正确的比例 最直观的指标，但在数据不平衡时表现不佳 2️⃣精确率 (Precision) 模型所有预测为“苹果”的结果中，有多少是真正的苹果公式：是“预测的准不准”…

PID控制算法，可以将其看作是一个 ​​“不断尝试缩小目标与现状之间差距”的智能调节器​​。它广泛应用于工业控制（如温度、压力、流量控制）、机器人、自动驾驶、无人机稳定系统等需要精确调节物理量的场景。 其核心思想很简单：​​测量当前状态（Process Value, PV），与期望的目标状态（Setpoint, SP）进行比较得到误差（Error, e），然后根据误差的“现在大小”、“历史积累”和“未来变化趋势”三个方面来计算一个控制量（Control Output, u），驱动执行器去减小误差，使过程变量尽快、平…

一、基本概念 最优化：首先是一种理念，其次才是一种方法，它所追求的是一种“至善”之道，一种追求卓越的精神。例子：小明同学，烧一壶水要8分钟，灌开水要1分钟，取牛奶和报纸要5分钟，整理书包要6分钟，为了尽快做完这些事，怎样安排才能使时间最少？最少需要几分钟？ 最优化问题的数学模型的一般形式为： \begin{align*} &\text{opt } z = f(x) \\ &\text{s.t. } h_i(x) = 0, \quad i = 1, \cdots, l \\ &\qquad g…

线性回归模型​​，它是统计学和机器学习中最基础、最核心的预测模型之一，主要用于解决​​回归问题​​，即预测一个​​连续的数值型输出​​。 核心思想：建立“输入”与“输出”之间的线性关系 线性回归的核心目标非常直观：​​假设并建模目标变量 y（因变量、输出）与一个或多个预测变量 x（自变量、特征、输入）之间存在的线性关系。​​ 它试图找到一条（简单线性回归）或一个平面/超平面（多元线性回归）来“最佳”拟合数据点，从而当我们知道 x 的值时，就可以基于这条线/平面预测 …

KMP算法（Knuth-Morris-Pratt）是一种高效的字符串匹配算法，它通过避免回溯主串指针来实现O(n+m)的时间复杂度。要深入理解KMP算法，需要掌握其核心思想——​​部分匹配表（Pi数组）​​和​​匹配过程中的智能回退机制​​。 1. 核心思想：利用已匹配信息避免重复比较 传统暴力匹配算法在每次失败时需要回溯主串指针，导致大量重复比较。KMP算法通过预处理模式串，构建一个"部分匹配表"（Pi数组），利用这个表在匹配失败时只回退模式串指针，主串指针永不回溯。 2. 部分匹配表（Pi数组） Pi数组存储了…

一、定义与核心目的​​ 二、适用场景​​ 三、测试范围设计原则​​ 四、执行逻辑与流程​​ ​​五、与企业级测试策略的关联​​ 测试类型 目标 执行频率 深度 ​​Smoke Test​​ 验证核心功能可用性 每次构建/部署 浅层 ​​Regression Test​​ 确保修改未破坏现有功能 主要版本发布前 中层 ​​Performance Test​​ 评估系统负载能力 季度/重大变更后 深层 六、典型案例分析​​ ​​场景：银行核心系统版本升级​​ ​​工具链示例​​： 七、常见误区与避坑指南​​ 八、进阶实…

一、核心概念与设计意义​​ ​​二、切换机制与实现细节​​ ​​切换触发条件​​ ​​上下文切换细节​​ ​​三、实际应用与性能影响​