2020年12月13日日曜日

ロシア MCST Elbrusについてのまとめ

スパコンポエム Advent Calendar 2020 https://qiita.com/advent-calendar/2020/sc_poem
への参加です (2020年12月14日)。


バリバリのスーパーコンピュータとはちょっと違いますが、ロシア MCST Elbrus-8CB搭載の魅力的な mini-ITX Motherbordプロジェクトが始まったので Elbrusについてまとめました。
※MCSTとスーパーコンピュータシステムの件は最後に掲載します。

連続ツイートを埋め込むと悲惨なので過去ツイートはリンク掲載としました。
wikipediaへのリンクは長いので表示は省略しています。




詳細はこちらを IcepeakITX ELBRUS-8CB https://www.crowdsupply.com/sra-centr8/icepeakitx-elbrus-8cb

概要

  • MCSTについて (Elbrusプロッサ前史)
  • Elbrusプロセッサの歴史と現状
  • Elbrusプロセッサアーキテクチャ参考資料
  • Elbrus Softwareリンク
  • MCST SPARCプロセッサ
  • Elbrusの今後の展開とスーパーコンピュータ関連
  • ※ページ内リンク設定が解らないのでスクロールして下さい。


MCSTについて (Elbrusプロセッサ前史)

まずは Lebedev Institute of Precision Mechanics and Computer Engineering (IPMCE) http://eng.ipmce.ru/ で研究開発されていた計算機システム:Эльбрус (Elbrus) シリーズがあり
Elbrus 1:1973—1979
Elbrus 2:1977—1984
Elbrus 3:1986—1994 (VLIW: Very Long Instruction Word system)

1991年のソビエト連邦崩壊に伴い資金が途絶えていたところ、Sun Microsystems と (既に社内で VLIW (後に Explicitly Parallel Instruction Computing (EPIC)) となる研究に取り組んでいた) HPからコンタクトがあり、Sunが資金を提供し Moscow Center for SPARC Technology (MCST) が設立されました (同時に Elbrus Companyも設立されたようですが詳細不明)。1995年時点の MCSTは開発活動を停止した IPMCEからの移籍を含めて 300人体制だったそうです (現状は不明…)。

ここらの事情は Elbrus-3の開発リーダであった Boris Babayan博士 https://en.wikipedia.org/ の Oral History, May 16, 2012が詳しい ですhttps://twitter.com/ogawa_tter/status/1146991378095726592
※Sun側の担当者は Dave Ditzel氏で、Sun社内で VLIW SPARC開発を推進しようとしましたが受け入れられず退社、Transmetaの設立へとなりました。経緯はこちらを:Oral History of David (Dave) Ditzel, Jul 31, 2015, PDF https://archive.computerhistory.org/resources/access/text/2016/07/102737949-05-01-acc.pdf#page=18

2004年には Babayan博士を含めた MCST社の多くの人材が Intelに移籍、一部では Intelによる MCST買収と記載されてますが、Babayan博士の Oral Historyでは
"it was not an acquisition; it was hiring people."
MCSTは存続し開発を続行し、現在に繋がっています。


Elbrusプロセッサの歴史と現状

まずは、Apr 16, 2019のスライドから現行+予定プロセッサ https://twitter.com/ogawa_tter/status/1144240182863921152

コア数の違いや改訂版、さらには SPARCプロセッサを含め数多く展開しています。

Elbrusプロセッサより SPARCプロセッサのが先だったので
時期不明 (開発のみ)
МЦСТ-R100 (SPARC v8) https://ru.wikipedia.org/
2001
МЦСТ-R150 (SPARC v8) https://ru.wikipedia.org/
2004
МЦСТ-R500(SPARC v8) https://ru.wikipedia.org/ 

※後述しますが SPARCプロセッサの開発はこの後も続きます。

Elbrus 3から VLIWでしたが詳細不明で、以下から x86バイナリー実行可能な VLIWとなりました:
2005?
Эльбрус-3М1 (2 chips, 2 cores) https://ru.wikipedia.org/
2007
Эльбрус 2000 (1 chip, 1 core) https://ru.wikipedia.org/
130nm, 300 MHz, 75.8 Million Transistors, 6 W
2.4 GFLOPS (FP64), 4.8 GFLOPS (FP32)
2010
Эльбрус-S (1 core, ccNUMA: 4) http://www.mcst.ru/elbrus-s
90nm, 500 MHz, 218 Million Transistors, 13 - 20 W
4.0 GFLOPS (FP64), 8.0 GFLOPS (FP32)
2011
Эльбрус-2С+ (2 cores + 4 DSPs, ccNMUA?) http://www.mcst.ru/elbrus_2c_plus
90nm, 500 MHz, 368 Million Transistors, 25 W
8.0 GFLOPS (FP64), 16.0 GFLOPS (FP32) + DSP: 12.0 GFLOPS (FP32)
※DSP非搭載の Эльбрус-2СМ http://www.mcst.ru/mikroprocessor-elbrus2sm
2014
Эльбрус-4С (4 cores, ccNUMA: 4) http://www.mcst.ru/elbrus-4c
65nm, 800 MHz, 986 Million Transistors, 45 W
25 GFLOPS (FP64), 50 GFLOPS (FP32)
2016
Эльбрус-8С (8 cores, ccNUMA: 4) http://www.mcst.ru/elbrus-8c
28nm, 1000/1300 MHz, 2.73 Billion Transistors, 75 - 90 - 100 W
125 GFLOPS (FP64), 250 GFLOPS (FP32)
2016
Эльбрус-1С+ (1 core, 2D, 3D Graphics Accelerator) http://www.mcst.ru/elbrus-1c-plus
40nm, 600-1000MHz, 375 Million Transistors, 6 - 10 W
12 GFLOPS (FP64), 24 GFLOPS (FP32)
Rostecが Elbrus 1C+搭載の Extreme Conditions向けラップトップを発表しています (ロシア語リリースはみあたらず、何故か英文リリース) "Rostec Presents Ultra-High Strength Laptop For Extreme Conditions", Jul 9, 2018 https://rostec.ru/en/news/rostec-presented-a-heavy-duty-laptop-for-use-in-extreme-conditions/
  
2018
Эльбрус-8СВ (8 cores, ccNUMA: 4) http://www.mcst.ru/elbrus-8cb
28nm, 1500 MHz, 3.5 Billion Transistors, 90 W
288 GFLOPS (FP64), 576 GFLOPS (FP32)
2020???
Эльбрус-12С, Эльбрус-2С3: 
2018年のスライドに掲載されている程度, PDF http://www.mcst.ru/files/5b4df2/f30cd8/50b576/000000/abakarov_m.a._realizatsiya_kontrollera_usb_3.0._v_sostave_protsessorov_elbrus-12s_i_elbrus-2s3.pdf 

Эльбрус 2020年版カタログからPDF http://mcst.ru/files/5f6dde/dedece/619475/847768/katalog_elbrus_4_pokolenie_2020-2021.pdf


パソコン系からサーバ、マザーボードとそれなりの製品展開をしています。
E1C-mITX (Эльбрус-1С+): 92,000ルーブル (13+万円)
E8C-mITX (Эльбрус-8С): 120,000ルーブル (17+万円)
冒頭の IcepeakITX ELBRUS-8CBは I/Oも豊富な組み込む向け基板なので、そこそこの値段になりそうです。

MCST (および関連会社?の ИНЭУМ http://ineum.ru/ ) 以外にも、
Продукция (BITBLAZE) https://bitblaze.ru/ もサーバーやPCの販売をしています

ストレージ系を含めロシア製 Elbrus採用サーバが多くなってきているのは、この流れが大きく関係していると思われます
"Кабмин ввел запрет на госзакупки иностранных систем хранения данных (Cabinet introduced a ban on public procurement of foreign data storage systems)", Dec 26 2019 https://twitter.com/ogawa_tter/status/1210244302346977280


Elbrusプロセッサアーキテクチャ参考資料

Elbrusアーキテクチャの資料は余り公開されていませんが、
"Микропроцессоры и вычислительные комплексы семейства «Эльбрус» (Microprocessors and computer systems of the "Elbrus" family)", 2013
273ページの大著で、Elbrusに限らず MCST SPARCプロセッサの解説もあります。
※このツイートで紹介している以下はプログラミング資料と思われます
"Руководство по эффективному программированию на платформе «Эльбрус» (Guide to Effective Programming on the "Elbrus" Platform)", Rel 1.0, May 30, 2020, PDF http://mcst.ru/files/5ed39a/dd0cd8/50506b/000000/elbrus_prog_2020-05-30.pdf


上の書籍は詳細ですが 2013年出版なので以下に Elbrus-8Cの論文を紹介します
"МИКРОАРХИТЕКТУРА ВОСЬМИЯДЕРНОГО УНИВЕРСАЛЬНОГО
МИКРОПРОЦЕССОРА «ЭЛЬБРУС-8C» (Eight-Core "Elbrus-8C" Processor Microarchitecture)", Вопросы радиоэлектроники, серия «Электронная вычислительная техника», Выпуск 3, 2016
※Elbrus-8Cアーキテクチャの論文
"ВЛИЯНИЕ ПОДСИСТЕМЫ ПАМЯТИ ВОСЬМИЯДЕРНОГО МИКРОПРОЦЕССОРА «ЭЛЬБРУС‑8C» НА ЕГО ПРОИЗВОДИТЕЛЬНОСТЬ (Memory Subsystem Impact on the 8-core «Elbrus-8c» Processor Performance)", Вопросы радиоэлектроники, No 3, 2017
※Elbrus-8Cメモリ周りの論文
Elbrus-8C: 
4 channels DDR3-1600 registered ECC, up to 51.2 GB/s
64 GB per processor
1 TB machine address space
Elbrus-8CB:
4 channels DDR4-2400 registered ECC, up to 68.3 GB/s
128 GB per processor
1 TB machine address space
と強化されています。

数少ない英語の資料
"Hardware-Software solutions of the Elbrus platform for Supercomputers", MCST, Russian Supercomputing Days, Sep 2016
2016年9月の講演資料なので、Elbrus-8C, Elbrus-8CBは Next generation。

こちらは 2020年2月出版の論文
"Special Aspects of Matrix Operation Implementations for Low-Precision Neural Network Model on the Elbrus Platform", Math Modelling, Programming and Comp SW, South Ural State University Bulletin, Feb 2020
ニューラルネットワーク向け低精度行列演算実装の論文で、MCSTの方が共著者に含まれているためか "The Elbrus Architecture" の章があり ISAは以下の通り異なるそうです
Elbrus-4C: ISA 3 (64bit SIMD)
Elbrus-1C/8C: ISA 4 (64bit SIMD)
Elbrus-8CB: ISA 5 (128bit SIMD)
この論文は ISA 3の浮動小数点向けに最適化。


Elbrus Softwareリンク

MCST

Elbrus情報サイト (Maxim Gorsheninさん、MCST関係者?)
Все о российской технике Эльбрус (All about Russian equipment Elbrus)

"Free software porting on the Elbrus architecture (Андрей Савченко, LVEE-2019)", LIVE-2019, Aug 2019 http://0x1.tv/Free_software_porting_on_the_Elbrus_architecture_(%D0%90%D0%BD%D0%B4%D1%80%D0%B5%D0%B9_%D0%A1%D0%B0%D0%B2%D1%87%D0%B5%D0%BD%D0%BA%D0%BE,_LVEE-2019)
によると詳細は NDA契約が必要なようです。
講演された方:ALT Linuxはロシアのディストリビューションです
Elbrus関連


MCST SPARCプロセッサ

MCST社は独自の Elbrus以外にも SPARC ISA採用の МЦСТ-Rシリーズも開発しているのでそちらのリンクを掲載します。

時期不明 (開発のみ)
МЦСТ-R100 (SPARC v8) https://ru.wikipedia.org/
500nm
2001
МЦСТ-R150 (SPARC v8) https://ru.wikipedia.org/
350nm, 150 MHz, 2.8 Million Transistors, <4 W
2004
МЦСТ-R500 (SPARC v8) https://ru.wikipedia.org/ 
130nm, 500 MHz, 5 Million Transistors
2008
МЦСТ-R500S (SPARC v8, 2 cores) https://ru.wikipedia.org/
130nm, 500 MHz, 51 Million Transistors, <5 W
2015
МЦСТ-R1000 (SPARC v9/JPS1, VIS 1, VIS 2, 4 cores) http://mcst.ru/r1000
90nm, 1000 MHz, 180 Million Transistors, 15 W
Носимый терминал «НТ-МЦСТ4R» http://www.ineum.ru/nt-mcst4r
МЦСТ R1000搭載ラップトップ
2018
МЦСТ-R2000 (SPARC v9、8 cores) https://ru.wikipedia.org/
28nm
※出荷されているかは不明


Elbrusの今後の展開とスーパーコンピュータ関連

ここからやっとスーパーコンピュータのお話に、
MCSTの論文:
"НА ПУТИ К РОССИЙСКОЙ ЭКЗАСИСТЕМЕ: ПЛАНЫ РАЗРАБОТЧИКОВ АППАРАТНОПРОГРАММНОЙ ПЛАТФОРМЫ «ЭЛЬБРУС» ПО СОЗДАНИЮ СУПЕРКОМПЬЮТЕРА ЭКЗАФЛОПСНОЙ ПРОИЗВОДИТЕЛЬНОСТИ
(On the Way to Russian Exa-Systems: Plans of the Elbrus Hardware Software Platform Develоpers on Creation of an Exaflops Performance Supercomputer)". INEUM, MCST, MIPT, Вопросы радиоэлектроники, No 2, 2018
Elbrusによるロシア Exascaleシステムの実現へ!

Эльбрус-16С (16 core, ccNUMA: 4):2020年出荷予定
計画自体はかなり前から公表されていて、例えば
"Настоящее и будущее микропроцессоров "Эльбрус" в российских компьютерах (Present and future of Elbrus microprocessors in Russian computers)", Лекция для слушателей Летней Суперкомпьютерной Академии МГУ (Lecture for students of the Summer Supercomputer Academy of Moscow State University), Jul 23, 2017, 

2020年10月7日に Микроэлектроника-2020 http://microelectronica.pro/ 会場で Эльбрус-16Сの Engineering Sampleを展示。
"Получен первый инженерный образец микропроцессора Эльбрус-16С (The first engineering sample of the Elbrus-16S microprocessor was received)", Oct 7, 2020 http://mcst.ru/poluchen-pervyj-inzhenernyj-obrazec-mikroprocessora-elbrus16c

16nm, 2000 MHz, 12 Billion Transistors, (130 W) 
750 GFLOPS (FP64), 1500 GFLOPS (FP32) 
32x PCI Gen 3, 8x DDR4-3200 ECC
10 and 2.5 Gb Ethernet, 4 channels SATA 3.0  
https://twitter.com/ogawa_tter/status/1314242944111570944

Эльбрус-16Сアーキテクチャに関する公開情報も皆無で、唯一といえるのが 2020年3月12日 MCSTが開催したセミナー:Виртуализация подсистемы ввода-вывода микропроцессоров архитектуры «Эльбрус» (Virtualization of the input-output subsystem of microprocessors of the "Elbrus" architecture), Mar 12, 2020での資料
"Виртуализация системы прерываний в МП архитектуры Эльбрус (Interrupt system virtualization in MP architecture Elbrus)",
PDF http://mcst.ru/files/5e6f6b/2a0cd8/502752/000002/r._v._demenko_virtualizatsiya_sistemy_preryvaniy_v_mp_arhitektury_elbrus.pdf
でほんの少しだけ触れられている程度。

 Эльбрус-16Сプロセッサ展示の後ろにあるのは Эльбрус-8СВを 4つ搭載する液冷ブレードサーバの冷却板です: 4x Эльбрус-8СB: 1.16 TFLOPS/blade、以下の形状

"(左画像) Ростех разработал первый суперкомпьютер на базе процессоров «Эльбрус» (Rostec has developed the first supercomputer based on "Elbrus" processors)", May 23, 2019 https://rostec.ru/news/rostekh-razrabotal-pervyy-superkompyuter-na-baze-protsessorov-elbrus/
"(右画像) Российские суперкомпьютерщики создали блейд-сервер на «Эльбрусах» (Russian Supercomputers have created a blade server on Elbrus)", Feb 19, 2018 https://www.cnews.ru/news/top/2018-02-19_rossijskie_superkompyutershchiki_sozdali_blejdserver
実際は РСК http://www.rscgroup.ru/ru のブレードですが、РСКサイトには製品として掲載されていませんが、MCST関連会社?の ИНЭУМの 2019年版カタログには掲載されています PDF http://www.ineum.ru/files/5cfe6f/400cd8/50c01a/000000/katalog_ineum_v1.992_veb.pdf
Эльбрус-8С (125 GFLOPS (FP64))
Up to 153 compute nodes: (4x 125: blade) x 153 
75 TFLOPS/rack
※Эльбрус-8СB (288 GFLOPS (FP64)): 176 TFLOPS/rack 

Ростехの Supercomputer Center:
"Ростех ввел в строй суперкомпьютер «Центр» (Rostec put into operation the "Center" supercomputer)", Nov 8, 2019 https://rostec.ru/news/rostekh-vvel-v-stroy-superkompyuter-tsentr-/?sphrase_id=232241
50 Trillion operations per second (50 TFLOPS?)

※ИНЭУМは Ростехと関係が深いようですが理解出来ていません
Институт электронных управляющих машин (ИНЭУМ) https://ru.wikipedia.org/

Ростехと Elbrusではこのようなプレスリリースもあります
”Ростех поставит РЖД 15 тысяч компьютеров на отечественных процессорах (Rostec will supply Russian Railways with 15 thousand computers based on domestic processors)”, Aug 11, 2020 https://www.rostec.ru/news/rostekh-postavit-rzhd-15-tysyach-kompyuterov-na-otechestvennykh-protsessorakh/
1,000 computers based on the Elbrus processor
14,000 machines based on the Baikal processor (MCSTとは別のロシアメーカー)
ただし、Ростех (Rostec) https://ja.wikipedia.org/
なので今後もあまり情報は出てこないと思われます。


で、もって!

Эксперт (Expert), Oct 2020に MCST CEOの Ким, Александр Киирович博士
https://ru.wikipedia.org/ のインタビューが掲載され、

Эльбрус-32С (Elbrus-32S)
6-7nm
2025年
とのことです。
 Без этого мы не страна 
 (CPU無くして、国家にあらず) 

0 件のコメント:

コメントを投稿

Tesla Memo [3/3] : Tesla AI Day, Aug 19, 2021

Teslaについて過去ツイートを纏めてみました (Memo from my past tweets)。 Tesla Memo [1/3] : Tesla Autonomy Investor Day, Apr 2019 - Sep 2020 https://this-may-int...