Tesla Memo [3/3] : Tesla AI Day, Aug 19, 2021

Teslaについて過去ツイートを纏めてみました (Memo from my past tweets)。

Tesla Memo [1/3] : Tesla Autonomy Investor Day, Apr 2019 - Sep 2020

https://this-may-interest-you2.blogspot.com/2021/09/tesla-memo-1.html

Tesla Memo [2/3] : before Tesla AI Day, Aug 19, 2021

https://this-may-interest-you2.blogspot.com/2021/09/tesla-memo-2.html

概要

• Tesla AI Day, Aug 19, 2021
• Tesla CFP8: 8-bit Configurable Floating-Point
• Hybrid 8-bit Floating Point (HFP8) Training and Inference for DNNs, IBM
• 2x Dojo D1 Chip Module?
• Comparative Study on Power Module Architectures for Modularity and Scalability", Review, Dec 2020
• "Scaled compute fabric for accelerated deep learning", Cerebras, Patent Application, Mar 5, 2020 (Aug 28, 2018)
• 最後に
• おまけ
• AMD Exascale APU, Chiplets
• ※ページ内リンク設定が解らないのでスクロールして下さい。

Tesla Memo [2/3] : before Tesla AI Day, Aug 19, 2021

Teslaについて過去ツイートを纏めてみました (Memo from my past tweets)。

Tesla Memo [1/3] : Tesla Autonomy Investor Day, Apr 2019 - Sep 2020

https://this-may-interest-you2.blogspot.com/2021/09/tesla-memo-1.html

Tesla Memo [3/3] : Tesla AI Day, Aug 19, 2021

https://this-may-interest-you2.blogspot.com/2021/09/tesla-memo-3.html

概要

• "Scalable matrix node engine with configurable data formats", Tesla Patent Application, Nov 5, 2020 (May 5 2019)
• Tesla In-House Supcrecomputer, Andrej Karpathy, Tesla, Jun 20, 2021
• "Looking at holding Tesla AI Day", Elon Mask, Jun 22, 2021
• Tesla AI Day, Aug 19, 2021, Professor Dennis Hong, UCLA
• Dennis Hong教授の投稿画像から推測の関連特許
• "Voltage regulator module with cooling structure", Patent, Jan 2021 (Mar 2018)
• "Mechanical architecture for a multi-chip module", Patent Application, Mar 2020 (Sep 2018)
• "Packaged device having embedded array of components", Patent Application, Jul 2020 (Jan 2019)
• System on Wafer (SoW), TSMC, Patents
• "The FSD improvement will come as a quantum leap, ", Elon Mask, Aug 15, 2020
• "Generating ground truth for machine learning from time series elements", May 2021 (Feb 2019): "AI Processor"
• ※ページ内リンク設定が解らないのでスクロールして下さい。

Tesla Memo [1/3] : Tesla Autonomy Investor Day, Apr 2019 - Sep 2020

Teslaについて過去ツイートを纏めてみました (Memo from my past tweets)。

Tesla Memo [2/3] : before Tesla AI Day, Aug 19, 2021

https://this-may-interest-you2.blogspot.com/2021/09/tesla-memo-2.html

Tesla Memo [3/3] : Tesla AI Day, Aug 19, 2021

https://this-may-interest-you2.blogspot.com/2021/09/tesla-memo-3.html

概要

• "Accelerated Mathematical Engine", Tesla, Patent, Jun 2, 2020 (Jul 24, 2017)
• Full Self-Driving (FSD) Chip, Tesla Autonomy Investor Day, Apr 22 2019
• Full Self-Driving (FSD) Chip, Hot Chips 2019, Aug 20, 2019
• "Instruction Set Architecture for a Vector Computational unit", Tesla Patent Application, Aug 1, 2019 (Jun 1, 2018)
• "Dojo cluster", Andrej Karpathy, PyTorch Developer Conference, Oct 10, 2019
• "Dojo, our training supercomputer", Elon Musk, Feb 3, 2020, and Aug 15, 2020
• "Tesla's next-gen Autopilot and infotainment hardware already in development: report", Aug 18, 2020, 財經要聞
• TSMC InFO_SoW (System-on-Wafer), ECTC 2020, May 2020
• "Dojo uses our own chips & a computer architecture optimized for neural net training", Elon Mask, Sep 21, 2020
• ※ページ内リンク設定が解らないのでスクロールして下さい。

TPUv4 Optical Interconnect Topology Memo

Google TPUv4 Interconnect Topologyについて過去ツイートを纏めてみました。
注意：主に公開されている特許情報をつなぎ合わせたものなので、実際のシステムとの関連は不明です。特許申請は新規性であって、使えるシステムとしてサービスや製品として実現するにはとても多くの地道な積み重ねが必要ですね。

※ Googleさんのことなので、TPUv5が運用開始されても TPUv4のインターコネクト詳細は公開しないでしょうね・・・

概要

• きっかけ (TPUv2 and TPUv3, Hot Chips 2020)
• OFC 2021, Jun 9, 2021での Norm Jouppiさん (Google) の発言 (4x4x4x (4x4x4))?
• "Optoelectronic packet switch/routers", Google特許
• 4x4x4 x (Block: 4x4x4) = 4,096 TPUv4?
• コメントを頂いたので追記、2021年9月7日 21:00頃
• 2-D Router (Switch) Google特許
• 3-D Mesh Topologyを意識した Google特許
• TPUv3: 4x Pods (32x32) = 128x32 2-D Mesh, All-reduce operation costs, MLsys 2021, Apr 6, 2021
• TPUv4 ICI (Chip-to-chip interconnect fabric): 6, Keynote, FPL 2021, Sep 1, 2021
• 参考：Switchless Optical 3D Torus, Rockport Networks, MUG 2021, Aug 23, 24
• MUG 2021スライド追加、2021年9月8日 02:30頃
• ※ページ内リンク設定が解らないのでスクロールして下さい。