2021年9月23日木曜日

Tesla Memo [3/3] : Tesla AI Day, Aug 19, 2021

Teslaについて過去ツイートを纏めてみました (Memo from my past tweets)。

Tesla Memo [1/3] : Tesla Autonomy Investor Day, Apr 2019 - Sep 2020
Tesla Memo [2/3] : before Tesla AI Day, Aug 19, 2021

概要

  • Tesla AI Day, Aug 19, 2021
  • Tesla CFP8: 8-bit Configurable Floating-Point
  • Hybrid 8-bit Floating Point (HFP8) Training and Inference for DNNs, IBM
  • 2x Dojo D1 Chip Module?
  • Comparative Study on Power Module Architectures for Modularity and Scalability", Review, Dec 2020
  • "Scaled compute fabric for accelerated deep learning", Cerebras, Patent Application, Mar 5, 2020 (Aug 28, 2018)
  • 最後に
  • おまけ
    • AMD Exascale APU, Chiplets
  • ※ページ内リンク設定が解らないのでスクロールして下さい。

続きを読む »
By 時刻: 0 件のコメント:

Tesla Memo [2/3] : before Tesla AI Day, Aug 19, 2021

Teslaについて過去ツイートを纏めてみました (Memo from my past tweets)。

Tesla Memo [1/3] : Tesla Autonomy Investor Day, Apr 2019 - Sep 2020
Tesla Memo [3/3] : Tesla AI Day, Aug 19, 2021

概要

  • "Scalable matrix node engine with configurable data formats", Tesla Patent Application, Nov 5, 2020 (May 5 2019)
  • Tesla In-House Supcrecomputer, Andrej Karpathy, Tesla, Jun 20, 2021
  • "Looking at holding Tesla AI Day", Elon Mask, Jun 22, 2021
  • Tesla AI Day, Aug 19, 2021, Professor Dennis Hong, UCLA
  • Dennis Hong教授の投稿画像から推測の関連特許
    • "Voltage regulator module with cooling structure", Patent, Jan 2021 (Mar 2018)
    • "Mechanical architecture for a multi-chip module", Patent Application, Mar 2020 (Sep 2018)
    • "Packaged device having embedded array of components", Patent Application, Jul 2020 (Jan 2019)
    • System on Wafer (SoW), TSMC, Patents
  • "The FSD improvement will come as a quantum leap, ", Elon Mask, Aug 15, 2020
    • "Generating ground truth for machine learning from time series elements", May 2021 (Feb 2019): "AI Processor"
  • ※ページ内リンク設定が解らないのでスクロールして下さい。

続きを読む »
By 時刻: 0 件のコメント:

Tesla Memo [1/3] : Tesla Autonomy Investor Day, Apr 2019 - Sep 2020

Teslaについて過去ツイートを纏めてみました (Memo from my past tweets)。

Tesla Memo [2/3] : before Tesla AI Day, Aug 19, 2021
Tesla Memo [3/3] : Tesla AI Day, Aug 19, 2021

概要

  • "Accelerated Mathematical Engine", Tesla, Patent, Jun 2, 2020 (Jul 24, 2017)
  • Full Self-Driving (FSD) Chip, Tesla Autonomy Investor Day, Apr 22 2019
  • Full Self-Driving (FSD) Chip, Hot Chips 2019, Aug 20, 2019
  • "Instruction Set Architecture for a Vector Computational unit", Tesla Patent Application, Aug 1, 2019 (Jun 1, 2018)
  • "Dojo cluster", Andrej Karpathy, PyTorch Developer Conference, Oct 10, 2019
  • "Dojo, our training supercomputer", Elon Musk, Feb 3, 2020, and Aug 15, 2020
  • "Tesla's next-gen Autopilot and infotainment hardware already in development: report", Aug 18, 2020, 財經要聞
  • TSMC InFO_SoW (System-on-Wafer), ECTC 2020, May 2020
  • "Dojo uses our own chips & a computer architecture optimized for neural net training", Elon Mask, Sep 21, 2020
  • ※ページ内リンク設定が解らないのでスクロールして下さい。

続きを読む »
By 時刻: 0 件のコメント:

2021年9月6日月曜日

TPUv4 Optical Interconnect Topology Memo

Google TPUv4 Interconnect Topologyについて過去ツイートを纏めてみました。
注意：主に公開されている特許情報をつなぎ合わせたものなので、実際のシステムとの関連は不明です。特許申請は新規性であって、使えるシステムとしてサービスや製品として実現するにはとても多くの地道な積み重ねが必要ですね。
※ Googleさんのことなので、TPUv5が運用開始されても TPUv4のインターコネクト詳細は公開しないでしょうね・・・

概要

  • きっかけ (TPUv2 and TPUv3, Hot Chips 2020)
  • OFC 2021, Jun 9, 2021での Norm Jouppiさん (Google) の発言 (4x4x4x (4x4x4))?
  • "Optoelectronic packet switch/routers", Google特許
  • 4x4x4 x (Block: 4x4x4) = 4,096 TPUv4?
    • コメントを頂いたので追記、2021年9月7日 21:00頃
  • 2-D Router (Switch) Google特許
  • 3-D Mesh Topologyを意識した Google特許
  • TPUv3: 4x Pods (32x32) = 128x32 2-D Mesh, All-reduce operation costs, MLsys 2021, Apr 6, 2021
  • TPUv4 ICI (Chip-to-chip interconnect fabric): 6, Keynote, FPL 2021, Sep 1, 2021
  • 参考：Switchless Optical 3D Torus, Rockport Networks, MUG 2021, Aug 23, 24
    • MUG 2021スライド追加、2021年9月8日 02:30頃
  • ※ページ内リンク設定が解らないのでスクロールして下さい。

続きを読む »
By 時刻: 7 件のコメント:

2020年12月20日日曜日

EuroHPC JU, EPI, "The Future HPC will be Open", Prof. Mateo Valero, BSC

スパコンポエム Advent Calendar 2020 https://qiita.com/advent-calendar/2020/sc_poem への参加です (2020年12月21日)。

欧州で進めているスーパーコンピュータプロジェクトについてまとめてみました。
はじめに European Union (EU) レベルで進めているスーパーコンピュータ整備計画：EuroHPC Joint Undertakingの進行 (英国は当初から参加していません)、ほぼ同じころ、Horizon 2020: European low-power microprocessor technologiesパートナーシップ (EUR 120 million、2018 - 2020) から発展した European Processor Initiative (EPI)、パートナーシップ立ち上げ Scientific Leaderの Mateo Valero教授 (BSC) が現在目指している RISC-Vベースの構想："The Future HPC will be Open" について、過去のツイートやリンクを紹介しました。

概要

  • EuroHPC Joint Undertaking
  • EuroHPC JUサイト情報
    • Bologna (Italy): Leonardo: 250 PF
    • Kajaani (Finland): LUMI: 552 PF
    • Barcelona (Spain) MareNostrum 5; 200PF
    • Bissen (Luxembourg): MeluXina: 10 PF 
    • Maribor (Slovenia): Vega: 6.8 PF
    • Ostrava (Czechia):EURO_IT4I: 15.2 PF
    • Minho (Portugal): Deucalion: 10 PF
    • Sofia (Bulgaria): PetaSC: 4.44 PF
  • European Processor Initiative (EPI)
  • "The Future HPC will be Open", Prof. Mateo Valero, BSC, Sep 22, 2020
    • EPI
    • MEEP
    • eProcessor
    • EPI RISC-V PILOT
    • Exascale
  • ※ページ内リンク設定が解らないのでスクロールして下さい。
  • ＋追記：2020年12月21日　夕方、夜、12月24日、12月26日

続きを読む »
By 時刻: 0 件のコメント:
ラベル:

2020年12月17日木曜日

China's AIPerf500, Nov 15, 2020

スパコンポエム Advent Calendar 2020 https://qiita.com/advent-calendar/2020/sc_poem への参加です (2020年12月18日)。

2020 China HPC Top100, Nov 15, 2020 https://this-may-interest-you2.blogspot.com/2020/12/china-hpc-top100-2020-nov-15-2020.html
China HPC Top500記事を眺めていた際、AIPerf500という見慣れないランキングに気づきました。

AIPerf500は China HPC 500と同じく ChinaSC 2020 (11/15：SC20開催中) に発表されたそうですが、公式サイトは見つかりません。いくつかの記事等を参考にして考察してみます。AIPerf500 1位のサイトは IO500, Nov 2020の 1位のサイトでもあります。
※2020年12月18日：Atlas 900 Compute Node, Technical White Paper, 2020-12-15追加

概要

  • AIBench, BenchCouncil
  • AIPerf500
  • 云脑II (鹏城实验室), Cloud Brain II (Peng Cheng Laboratory)
  • IO500
  • 2024年には 4 ExaFlopsシステム
  • ※ページ内リンク設定が解らないのでスクロールして下さい。
続きを読む »
By 時刻: 0 件のコメント:
ラベル:

2020年12月15日火曜日

"K-AB21, Korean Step Forward to Supercom CPU", ETRI, Korea, ARM HPC Users Group SC20

スパコンポエム Advent Calendar 2020 https://qiita.com/advent-calendar/2020/sc_poem への参加です (2020年12月16日)。

2020年 12月 14～15日に開催された第20回PCクラスタシンポジウム 「HPCシステム最前線」で、鯨岡さん (アーム株式会社)、Jean-Marc Denisさん (European Processor Initiative) お二人がちょこっとだけ触れられた、韓国電子通信研究院 (ETRI) で進めているスーパコンピュータ向け Armベースプロセッサ：K-AB21についての過去ツイートをまとめました。

K-AB21の発表は ARM HPC Users Group SC20 (Nov 9, 2002) が初めてと思われます、
"Fugaku Tops Supercomputer Rankings Again as Arm HPC Ecosystem Expands", Nov 17, 2020
"Neoverse V1 (formerly code-named Zeus) CPU ... for its K-AB21 system"

概要

  • ETRI (韓国電子通信研究院)
  • ARM HPC Users Group SC20, Nov 9, 2002
  • Youngsu Kwon, Director, AI Processor Research Department, ETRI
  • ※ページ内リンク設定が解らないのでスクロールして下さい。
続きを読む »
By 時刻: 0 件のコメント:
ラベル:
登録: 投稿 (Atom)

Tesla Memo [3/3] : Tesla AI Day, Aug 19, 2021

Teslaについて過去ツイートを纏めてみました (Memo from my past tweets)。 Tesla Memo [1/3] : Tesla Autonomy Investor Day, Apr 2019 - Sep 2020 https://this-may-int...

  • ロシア MCST Elbrusについてのまとめ
    スパコンポエム Advent Calendar 2020  https://qiita.com/advent-calendar/2020/sc_poem への参加です (2020年12月14日)。 バリバリのスーパーコンピュータとはちょっと違いますが、ロシア MCST Elbr...
  • TPUv4 Optical Interconnect Topology Memo
    Google TPUv4 Interconnect Topologyについて過去ツイートを纏めてみました。 注意：主に公開されている特許情報をつなぎ合わせたものなので、実際のシステムとの関連は不明です。特許申請は新規性であって、使えるシステムとしてサービスや製品として実現するには...
  • Tesla Memo [2/3] : before Tesla AI Day, Aug 19, 2021
    Teslaについて過去ツイートを纏めてみました (Memo from my past tweets)。 Tesla Memo [1/3] : Tesla Autonomy Investor Day, Apr 2019 - Sep 2020 https://this-may-int...