セレブラス(英: Cerebras、旧: Cerebras Systems)は、サニーベールとサンディエゴ、トロント、東京、インドのバンガロールにオフィスを構えるアメリカの人工知能企業である。セレブラスは、複雑な深層学習AIアプリケーション用のコンピュータシステムを構築している。

## 歴史

セレブラスは2015年に、Andrew Feldman、Gary Lauterbach、Michael James、Sean Lie、Jean-Philippe Frickerによって設立された。これら5人の創設者は、FeldmanとLauterbachによって2007年に設立されその後2012年に3億3,400万ドルでAMDに売却されたw:SeaMicroで協働した。

2016年5月、セレブラスはw:Benchmark、w:Foundation Capital、Eclipse Venturesが主導するシリーズAラウンドで2,700万ドルを確保した。

2016年12月にはw:Coatueが主導してシリーズBラウンドが行われ、続いて2017年1月にはVY Capitalが主導してシリーズCラウンドが行われた。

2018年11月、セレブラスはシリーズDラウンドを8,800万ドルで終了し、同社はユニコーンとなった。 このラウンドの投資家にはw:Altimeter、VY Capital、Coatue、Foundation Capital、Benchmark、Eclipse が含まれていた。

2019年8月19日、セレブラスはウェハ=スケール・エンジン(WSE)を発表した。

2019年11月、セレブラスはシリーズEラウンドを2億7,000万ドル以上、評価額24億ドルで終了した。

2020年、同社は日本支社の開設と東京エレクトロンデバイスとの提携を発表した。

2021年4月、セレブラスは850,000コアを備えた同社のウェハ=スケール・エンジン2(WSE-2)をベースとしたCS-2を発表した。2021年8月、同社は120兆を超える接続を持つニューラルネットワークを実行できる脳スケール技術を発表した。

2021年11月、セレブラスはシリーズF資金でさらに2億5000万ドルを調達し、同社の評価額は40億ドルを超えたと発表した。 シリーズFの資金調達ラウンドは、Alpha Wave Venturesとアブダビ成長基金(ADG)によって主導された。現在までに同社は7億2,000万ドルの資金を調達している。

2022年8月、セレブラスはカリフォルニア州マウンテンビューのコンピューター歴史博物館から表彰された。同博物館は常設コレクションに加え、集積部品としてのトランジスタ製造史における「画期的な」成果をもたらした —これまでに作られた最大のコンピューターチップ— WSE-2をフィーチャーした新しい展示物を公開した。

2022年8月、セレブラスはインドのバンガロールに新しいオフィスを開設すると発表した。

## 技術

セレブラス ウェハ=スケール・エンジン(WSE)は、コンピュート、メモリ、インターコネクト・ファブリックを含む単一のウェハ=スケール・インテグレーション・プロセッサである。WSE-1はセレブラスの第1世代 AIコンピュータであるセレブラス CS-1を駆動する。これはデータセンタでのAIトレーニングと推論ワークロード向けに設計された19インチラック=マウント型アプライアンスである。CS-1には400,000個の処理コアを備えた単一のWSEプライマリ・プロセッサと、同様にデータの送受信のための12個の100ギガビット・イーサネット接続が含まれている。WSE-1には、1.2兆個のトランジスタ、400,000個の計算コア、および18ギガバイトのメモリが搭載されている。

2021年4月、セレブラスは、TSMCの7nmプロセスで製造された、第2世代ウェハ=スケール・エンジン(WSE-2)をベースとしたCS-2 AIシステムを発表した。高さは26インチで標準的なデータセンタ・ラックの3分の1のサイズに収まる。セレブラス WSE-2には850,000個のコアと2.6兆個のトランジスタが搭載されている。WSE-2は、オン=チップSRAMを40ギガバイト、メモリ帯域幅を20ペタバイト/秒、合計ファブリック帯域幅を220ペタビット/秒に拡張した。

2021年8月、同社は複数の(一般的に「チップ」と呼ばれる)集積回路を多数の接続経路でニューラルネットワークに接続するシステムを発表した。これにより単一システムで120兆パラメータを超えるAIモデルをサポートできるようになる。

2022年6月、セレブラスは単一デバイス上でトレーニングされたAIモデルとしては過去最大の記録を樹立した。セレブラスは、史上初めて、1枚のセレブラス・ウェハを備えた単一のCS-2システムで最大200億パラメータのモデルをトレーニングできると述べた。セレブラス・CS-2システムは、ソフトウェアの複雑さとインフラストラクチャを軽減してGPT-3XL 13億、GPT-J 60億、GPT-3 130億、GPT-NeoX 200億モデルなどを含む、数十〜千億パラメータの自然言語処理(NLP)モデルをトレーニングできる。

2022年8月、セレブラスは特に製薬と生命科学分野の自然言語処理(NLP)におけるブレークスルーをもたらすものとして期待される、従来のコンピュータ・ハードウェアを使用した場合に比べて20倍長いシーケンスでTransformerスタイルの自然言語AIモデルを顧客がトレーニングできるようになったと発表した。

2022年9月、セレブラスは自社のチップをつなぎ合わせてAIコンピューティング用クラスタ史上最大のコンピューティング・クラスタを構築できると発表した。ウェハ=スケール・クラスタは最大192台のCS-2 AIシステムをクラスタに接続でき、16台のCS-2 AIシステム・クラスタは、自然言語処理用に1,360万コアを備えたコンピューティング・システムを作成できる。新しいセレブラス・ウェハ=スケール・クラスタの鍵は、すべてのAI作業で好れるアプローチである、トレーニングにデータ並列処理を排他的に使用することにある。

2022年11月、セレブラスは、1,350万個のAIに最適化されたコアを備えたWSE-2チップ16個を1つのクラスタに組み合わせ、最大1エクサフロップス、または少なくとも1秒あたり1京(10の18乗)回のAIコンピューティング馬力を実現する最新のスーパーコンピュータAndromedaを発表した。システム全体の消費電力は500キロワットだが、これは同等のGPUで高速化されたスーパーコンピュータよりも大幅に低い電力量である。

2022年11月、セレブラスは自身のセレブラス・AIモデル・スタジオ に定額制料金の「モデルごとに支払う("pay-per-model"、ペイパービュー方式)」計算時間(料金プラン)を提供するために、w:Cirrascale Cloud Servicesとの提携を発表した。価格帯は、「10時間でGPT-3の13億パラメータ・モデル」をトレーニングする場合の2,500ドルから、「85日間で700億のパラメータ・バージョン」をトレーニングする場合の250万ドルまである。このサービスは市場の同様のクラウド・サービスと比較してコストを半減し、速度を最大8倍高速化すると述べられている。

## 配備

顧客は製薬、ライフサイエンス、そしてエネルギー分野でセレブラス社の技術を使用していると報告されている。

2020年、グラクソ・スミスクライン(GSK)は、遺伝子およびゲノム研究を加速し創薬にかかる時間を短縮するためのニューラルネットワーク・モデルについて、ロンドンのAIハブでセレブラスCS-1・AIシステムの使用を開始した。GSKの研究チームは、トレーニング時間を短縮しながら、彼らが生成(に使用)するであろうエンコーダー・モデルの複雑性を高めることを可能にした。他の製薬業界の顧客には、GPUクラスタで2週間かかっていたところからセレブラスCS-1システムを使って2日間までにトレーニング時間を短縮することができた、アストラゼネカが含まれる。GSKとセレブラスは最近、エピゲノム言語モデルに関する研究を2021年12月に共同発表した。

アルゴンヌ国立研究所は2020年以来、世界最大規模の癌治療データベースに基づいて、新型コロナウイルス感染症研究とがん腫瘍研究においてCS-1を使用している。腫瘍に対する抗がん剤の反応を予測するためにCS-1上で実行される一連のモデルは、同研究所のGPUベースラインと比較してCS-1上で数百倍の高速化を達成した。

セレブラスと国立エネルギー技術研究所(NETL)は、2020年11月に科学計算ワークロードにおけるセレブラスのCS-1システムの記録破りのパフォーマンスを実証した。CS-1は、流体力学計算の主要なワークロードにおいて、Jouleスーパーコンピュータよりも200倍高速であった。

ローレンス・リバモア国立研究所のLassenスーパーコンピュータは、物理シミュレーションの機密分野と非機密分野の両方にCS-1を組み込んだ。ピッツバーグ・スーパーコンピューティング・センター(PSC)も、デュアルHPCおよびAIワークロードのためにNeocortexスーパーコンピュータにCS-1を組み込んでいる。EPCC(エディンバラ大学のスーパーコンピューティング・センター)も、AIベースの研究のためにCS-1システムを導入している。

2021年8月、セレブラスはペプチド治療用AI開発におけるPeptilogicsとの提携を発表した。

2022年3月、セレブラスはエネルギー分野で最初に公表された顧客である、トタルエナジーズのヒューストン施設に同社のCS-2システムを導入したと発表した。セレブラスはまた、自然言語処理を使用して大量の生医学データを分析するスタートアップ企業であるnferenceにCS-2システムを導入したことも発表した。CS-2は、医師に新鮮な洞察を提供と患者の回復と治療を改善するために非構造化医療データの山から情報を処理するように設計された、Transformerモデルをトレーニングするために使用される。

2022年5月、セレブラスは米国立スーパーコンピュータ応用研究所(NCSA)が同センターのHOLL-Iスーパーコンピュータに自社のCS-2システムを導入したと発表した。また、ドイツのライプニッツ・スーパーコンピューティング・センター(LRZ)が、HPE Superdome FlexサーバーとともにCS-2システムを搭載した新しいスーパーコンピュータを導入する計画であることも発表した。新しいスーパーコンピューティング・システムは、今夏にLRZに納入される予定である。これはヨーロッパ初のCS-2システムの配備となる。

2022年10月、米国国家核安全保障局が核備蓄管理コンピューティングにおけるセレブラスCS-2の使用を精査する研究を後援すると発表された。複数年契約はサンディア国立研究所、ローレンス・リバモア国立研究所、ロスアラモス国立研究所を通じて締結される。

2022年11月、セレブラスと国立エネルギー技術研究所(NETL)は、場の方程式の形成と解決という科学計算ワークロードで記録破りのパフォーマンスを達成した。セレブラスは、同社のCS-2システムが場の方程式モデリングにおいてNETLのJouleスーパーコンピュータよりも470倍も高速であることを実証した。

2022年の(ハイパフォーマンス・コンピューティングの利用を通じてCOVID-19パンデミックの理解に向けた優れた研究成果を表彰する)HPCベースのCOVID-19研究におけるゴードン・ベル特別賞受賞者は、COVID-19の変異種を分析するために大規模言語モデルを変身させた、この受賞研究を実施するためにセレブラスのCS-2システムを使用した。この論文は、アルゴンヌ国立研究所、カリフォルニア工科大学、ハーバード大学、ノーザン・イリノイ大学、ミュンヘン工科大学、シカゴ大学、イリノイ大学シカゴ校、エヌビディア、セレブラスの34人からなるチームによって執筆された。ANL(アルゴンヌ国立研究所)はCS-2ウェハ=スケール・エンジン・クラスタを使用することで、チームがSARS-CoV-2の全ゲノムをトレーニングする際に1日以内に(トレーニングの)収束を達成できたと指摘した。