Wei-Cheng Chiu
邱偉誠
Taipei, Taiwan · UTC+8
making every FLOP count
Blog¶
I use these notes to answer the questions that survive the launch post: where the latency comes from, which claim the evidence actually supports, and what breaks when an architecture meets a real runtime. Equations, measurements, and source notes stay next to the claim they qualify.
Topics:
Thinking Machines
Inkling 975B：5:1 混合注意力如何重新分配算力
5:1 滑動視窗、相對位置編碼、短卷積與 Muon/Adam：查核官方資料後拆解 Thinky 的第一個開放權重模型。
2026-07-20
Moonshot AI
Kimi K3 2.8T：KDA、AttnRes 與 896 選 16 的 MoE
KDA、Attention Residuals 與 896 選 16 的 Stable LatentMoE；並釐清 API 已上線、權重尚待釋出的差別。
2026-07-20
NVIDIA
TensorRT-LLM vs vLLM on 4×H100｜Concurrency crossover
Matched-work benchmark：TensorRT-LLM 在低／中 concurrency 領先，vLLM 在高 concurrency 領先。
2026-05-31
NVIDIA
Where tensor-parallel inference hits the NVLink wall｜TP inference 的 NVLink 牆
366 GB/s 與 23 μs 固定成本：分開量測 NVLS、CUDA Graphs 和 symmetric memory 改變了什麼。
2026-05-31
Microsoft Learn
The 0% RAG result failed the harder test｜0% 結果沒有通過更難的測試
簡單資料集是 0%，adversarial near-miss 是 48%；比較九種 gates 後，grounded verifier 補抓到 generative judges 漏掉的錯誤。
2026-05-31
Google Research
FedAvg Under Non-IID Data｜DP-SGD 與 Secure Aggregation 保護什麼
從 client drift 到 privacy bound：FedAvg、FedProx、SCAFFOLD、DP-SGD 與 secure aggregation 的實測限制。
2026-05-31
NVIDIA
From Naive GEMM to WMMA｜每個 CUDA kernel 卡在哪裡
比較 naive、shared-memory tiling 與 WMMA，再用相同 shape 的 cuBLAS 當 production baseline。
2026-05-31
Google DeepMind
Meta-RL：讓 policy 在 episode 內學會更新自己
把 task inference 放進 gradient、recurrent state 或 latent context；以及怎麼測出 adaptation 而不是 task memorization。
2025-01-11
NVIDIA
CUDA Programming 入門
從 execution model、memory hierarchy 與 synchronization 判斷 CUDA kernel 的實際瓶頸。
2025-01-11
Kali Linux
滲透測試不是掃描器：從授權邊界到可複測證據
先寫 Rules of Engagement，再談工具；用最小化驗證、證據鏈與 acceptance test 把 finding 交給修復者。
2025-01-10