前言 在 CMU 10-414/714 Deep Learning System 第二个 homework 有一个小任务要对数值稳定形式的 LogSumExp 的梯度进行推导，查阅了不少资料 1，琢磨好半天才搞懂，特此记录。 推导过程 符号说明 推导过程中使用的符号说明如下： $$ \begin{align*} z &\in \mathbb{R}^n\\ z_k &= \max{z}\\ \hat{z} &= z - \max{z}\\ f &= \log{\sum_{i=1}^n{\exp{(z_i - \max{z})}}+\max{z}}\\ &=\log{\sum_{i=1}^n\exp\hat{z}_i}+z_k \end{align*} $$ 非最大情况推导 当 $z_j\neq z_k$ 时，$\frac{\partial{f}}{\partial{z_j}}$ 推导如下： ...
概述 wsl2 使得 Windows 用户可以很方便地访问 Linux 环境，微软也在 vscode 中提供了相应的插件支持。但 wsl2 一般都是通过本地访问的，微软似乎没有直接提供远程访问 wsl2 的方式。 经过一番摸索，远程访问 wsl2 主要有以下几个步骤： ...
前言 本文记录了完成《CMU 10-414/714 Deep Learning System》配套 Assignments 的过程和对应笔记。共有 6 个 hw，循序渐进地从头实现了一个深度学习框架，并利用搭建 DL 中厂常见的网络模型，包括 CNN、RNN、Transformer 等。 ...
前言 在博文中插入公式是个挺常见的需求，不知道为啥 Hugo 对于公式渲染没有原生支持😞。网络上能找到两种解决方案：KATEX 和 MathJax，据说前者性能更好一点。本博客使用 KATEX 进行渲染。 ...
写在最前面 从 2024-04-28 到 2024-09-08，历时四个多月，总算把 DLSys 学完了。这门课的一些收获： 自动微分理论知识和在实践过程中衍生的包括计算图等知识 系统学习了 ML 中几个基本模型和组件 Tensor 的 strides 相关内容 基础 CUDA 编程 个人认为这门课一些没达到我预期的地方： ...
前言 本文是我在学习 Scott Meyers 的著作《Effective C++》第三版的笔记，鉴于豆瓣对于本书中文翻译褒贬不一，我直接看的英文原著。PDF 链接：Books-3/Effective C++ 3rd ed.pdf at master · GunterMueller/Books-3 · GitHub ...
知其然 注意： 该方式将从 PPA 下载 gcc/g++，国内访问很慢，建议参考 《为apt配置代理》 这篇文章，配置好 apt 的代理。 以安装 g++ 13 版本（不支持指定小版本号）为例，以下给出用到的命令 1： ...
一般来说，apt 通过换源即可获得不错的体验，但有的时候不得不加入一些没被镜像的国外源例如 PPA，因此不得不琢磨怎么在 apt 中配置代理。 apt 不会从环境变量获取代理配置，需要手动其配置文件 /etc/apt/apt.conf 中添加： ...
资源存档 原文链接：ZeroTier-One搭建moon节点 | 一水轩 ZeroTier 官网：ZeroTier Central 搭建过程 在服务器上安装并配置 ZeroTier 安装 ZeroTier 1 2 3 4 5 6 7 8 curl -s https://install.zerotier.com | sudo bash sudo systemctl start zerotier-one.service sudo systemctl enable zerotier-one.service sudo zerotier-cli join <network ID> # 此处填写你的网络的network ID 在控制台勾选服务器 前往对应网络控制台 ZeroTier Central，允许刚刚添加的设备。 ...
资源存档 本次实验使用的课程代码版本为 CS144 Winter 2024，鉴于 CS144 官方要求禁止公开代码以防止抄袭，我将我的题解和原始代码存档放在了 Gitee 上（外国学生应该不知道这个平台吧），有需要可自取：CS144: CSS144 Winter 2024 Labs.。另外，我还托管了课程主页的镜像，各个资源链接如下： ...