属于CYY自己的世界
云端 AI 与隐私，我可以全都要吗？

source
(author: Yangyu Chen)

杰哥的{教学，运维，编程，调板子}小笔记

用 Files API 减少图片体积导致的 TTFT 膨胀

背景

最近经常用 DeepSeek-V4.1-Flash 模型读图，随着上下文里的图片越来越多，由于每次请求都要传完整上下文，上传图片的时间很快就成了 TTFT 的主要瓶颈；如果走的是 OpenCode Go，甚至动辄要几分钟。为了解决这个问题，可以用 Files API 提前把图片上传到 DeepSeek，然后在上下文里直接用 id 引用文件。为此，我 Vibe 了一个 pi-files-api 插件，给 Pi Agent 添加上这个能力。

具体现象

最近发现一个现象：在一些会话里，TTFT 稳定地偏高，而且越来越高：10s、12s 一路上涨，有时甚至到几分钟的量级，而这些会话都包含大量的图片读取。一开始我以为是服务端的问题，后来通过交流和分析才发现，图片会在每次请求时都重新发给后端，随着读图不断累积，TTFT 的大部分时间都耗在了上传图片上。

一开始，我还寄希望于有状态的 OpenAI Responses API，也就是每次只发送相对上一次请求的增量，避免图片的重复上传。然而 DeepSeek 目前还没有实现这个功能，所以只能用 Files API。

Files API

Files API 可以理解为一个临时的网盘：支持上传、列举、删除和查询，有 OpenAI 和 Anthropic 两个版本，不过功能大同小异。在这个临时网盘里，每个文件都有唯一的 id，可以出现在 chat completions/responses/anthropic messages 的请求体中，用来代替实际的图片。

因此，如果 Agent 知道使用这个 Files API，先用它上传图片，再用 file id 填充请求体，就可以解决上述 TTFT 暴增的问题。DeepSeek Harness 是支持的，但前提是使用第一方 API；像我这样通过 AxonHub 统一管理 API key 的情况，它就不会用这个 Files API 了。

另外，我日常使用的 Pi Agent 也没有做这个优化。不过，在 AI 时代，做个优化也就是写几句 Prompt、写个插件的事情。

pi-files-api

最终，我快速 Vibe 出了一个插件 pi-files-api：通过修改 models.json 配置，它就能替换上下文里的图片 base64，上传到指定的 Files API Endpoint，然后用 file id 替代图片内容；插件内部维护了一份 sha256 到 file id 的映射。

当然，目前 AxonHub 还不支持代理 Files API，所以目前只能被迫在本地给 Pi 配置 DeepSeek 的 api key：先通过 api.deepseek.com 上传图片，再通过 axonhub 发送实际的请求体，非常不优雅。后续希望 AxonHub 能增加 Files API 支持，不过这也会带来一个问题：切换 API 上游时，Files 不会跟着迁移，换了一个供应商以后，原来的 file id 就失效了。这个问题还没想好怎么办，只能先曲线救国一下。

source

杰哥的{教学，运维，编程，调板子}小笔记

替换自制服务器上的 48V 直流电源

背景

又到了新学期，计算机组成原理的实验又轰轰烈烈地开始了，但实验平台背后的 FPGA 集群，却出现了一台自制服务器不工作的问题，通过替换 48V 直流电源解决了。

自制服务器

说是服务器，但实际上，这个服务器是借用了机架式服务器的外壳，把里面改造成了一个 FPGA 集群。它通过一个电源把 220V 市电转成 48V 直流电源，然后给三个 10 口 PoE 交换机供电，然后每个 PoE 交换机再通过 PoE 给 8 个 FPGA 开发板供电。此外，再通过一个 48V 到 12V 的 DCDC 直流电源，给几个风扇供电。这样，一个自制服务器里，就可以承载 24 个 FPGA 开发板，再通过多个自制服务器组成 FPGA 集群。

交换机之间，采用菊花链的方式连接，最后连一根网线到机柜上的交换机。

问题定位

问题出在，其中一台自制服务器通电后没有反应。把自制服务器从机柜上拆下来，用万用表测试，最终的结论是：48V 电源坏了，输出的两个直流端子之间的电压为零，电源上的灯也没有亮。后续把电源拆出来看了看，没找到特别明显的出问题的部件。

修复

修复也很简单：找到了一个同型号的备用电源，一通拆卸，再按照原来的方式装回来就可以。由于这个 48V 电源的输出就是两个带有螺丝的端子，所以要把各路电源（三个交换机、一路 DCDC）的电源线的正和负分别压紧到对应的端子上，防止虚接发热。

source

Daniel Lemire's blog
Mastering SIMD with Java Vector API

Telegraph | source

Telegraph

Mastering SIMD with Java Vector API

I write a lot about data parallelism. About how our processors have special instructions that can do several operations at once. They are often critical to get the best performance out of a CPU. Compilers are sometimes able to take advantage of these instructions.…

Chips and Cheese
NVIDIA’s Olympus Core: Pushing Server Single Threaded Performance Boundaries
#ChipAndCheese

Telegraph | source
(author: Chester Lam)

Telegraph

NVIDIA’s Olympus Core: Pushing Server Single Threaded Perfor…

Server chips traditionally offered less single threaded performance than contemporary client parts. Higher core counts translate to less power per core, and the complex interconnect required to connect many cores often suffer from higher latency as well.…

Daniel Lemire's blog
Ephemeral testing

Telegraph | source

Telegraph

Ephemeral testing

Generated by RSStT. The copyright belongs to the original author. Source

Daniel Lemire's blog
Google’s first orbital data center is in orbit

Telegraph | source

Telegraph

Google’s first orbital data center is in orbit

Google’s first orbital data center is in orbit (October 1st). They say it is about the size of a fridge. It has one kilowatt of solar power. It is about the power of a household. It was launched on a Falcon 9 rocket (SpaceX). It should run for about a year.…

Page table memory consumption
https://frn.sh/pagetables/

Optimizing GEMM on Apple's M5 from Scratch
https://lenguyen.vercel.app/note/metal-gemm-1

杰哥的{教学，运维，编程，调板子}小笔记
探究一个 USB Type-C 拓展坞的硬件实现

Telegraph | source

Telegraph

探究一个 USB Type-C 拓展坞的硬件实现

探究一个 USB Type-C 拓展坞的硬件实现 背景 最近在高强度使用 HDMI 和 DP 做视频输出，但在使用的时候遇到了各种细节问题，所以就研究整个链路上到底发生了哪些事情，在这个过程中，研究了一下手上的 Biaze KZ11 这款 Type-C 拓展坞，看看它内部有哪些芯片，又是怎样实现拓展坞的功能的。 拓展坞基本信息 首先介绍一下这款拓展坞的基本信息，从购买页面可以看到： 接口上，有三个 USB 3.0，一个 TF/SD 读卡槽，一个 HDMI，一个 VGA，一个 3.5mm TRS 音频输出，一个千兆以太网口，还有一个…

#今天日了啥
群友：猜猜我对 YU7 干了啥（