hotchpotch/wikipedia-multilingual-ir-pairs huggingface dataset:
ベツレヘム 文化
女性の民族衣装は、強い光沢と鮮やかな色彩を持つことで知られ、伝統的な花嫁衣装である。よりカジュアルな服装は藍色の服に一部が羊毛で織られたビシュトを上から羽織っていた。特別な行事では縞模様の絹織りの服にベツレヘム・ジャケットとして知られる taqsireh という短めの上着を羽織っていた。taqsireh はベルベットやブロード製で通常大きな刺繍がしてあった。上着の下の衣服は翼のような広い袖を持ち、短い上着から袖が垂れ下がるようになっていた。金糸や銀糸、絹糸の使い方が独特で、様式化された花柄を描き出している。この技法は古典的で格式高い花嫁衣裳（thob malakにtaqsirehを羽織り、shatwehsという帽子を被る）に使われている。ビザンツ様式にこの技法は取り入られ、またオスマン帝国の支配者階級の正装にも取り入られた。教会の祭服にもその豪華な刺繍と銀の錦織は表されている。
螺鈿細工はベツレヘムの伝統的な手工芸品で、イタリアから来たフランシスコ会の修道士が15世紀ごろに持ち込んだと言われている。継続的な巡礼者の訪れによって需要が高まり、少なくとも17世紀には女性の仕事ともなっていった。リチャード ポーコックは1727年にベツレヘムを訪れた際、これについて書き留めている。
ベツレヘム 文化
1991年にパレスチナ遺産センターがベツレヘムに建てられた。設立目的はパレスチナの民族衣装、芸術、伝承を保存し、広めることにある。ベツレヘム国際センターでは、言語やガイドの訓練を行い、女性や若者たちの支援を行っている。
エドワードサイード国際音楽院のベツレヘム支部には500名の生徒がいる。その主な目標は子供たちの音楽教育、教師の育成、音楽研究の支援、パレスチナの伝統音楽の研究である。
ベツレヘムには博物館が4つ存在する。Crib of the Nativity Museum ではイエスの生涯を模型で31点展示している。またシアターでは20分ほどのアニメーションも上映している。Badd Giacaman Museum はベツレヘムの旧市街に建ち、その歴史は18世紀にさかのぼる。UNDP、ギリシャ正教会と協力してDepartment of Antiquitiesが1998年から2000年にかけて復元し、オリーブ油の生産に関する展示を行っている。Baituna al-Talhami Museum は1972年に建設され、ベツレヘムの文化に関する展示を行っている 。International Museum of Nativity はユネスコによって建設された。
ベツレヘム 行政
ベツレヘムはベツレヘム県の政庁所在地である。
1876年にベツレヘムでは最初の地方選挙が実施された。ベツレヘムの旧市街にある各地区の代表者たちは、街の各部族を代表する7名を地方議員として選出することに決めた。後に Farahiyyah と Najajrah 地区どちらかの代表を8番目の議員として認めた。市長となった者がカトリックであった場合、副市長はギリシャ正教から選出されなければならない、逆に市長がギリシャ正教なら副市長はカトリックとすると決まった。さらにその後1952年にシリア人地区が加わり9名となった。1953年にベドウィンの Ta'amrah 部族とパレスチナ難民の代表が加わり市会議員は11名となった。
ベツレヘム 行政
1976年に法律が改正され、女性参政権が認められ、投票資格は一定の納税をしている21歳以上、被選挙権は25歳以上のものに与えられた。
2014年の時点では市会議員は市長と副市長を含め15名で構成されている。特別な法令により市長はキリスト教徒でなければならない。
市議会には政党の支部があり、共産主義者やイスラム主義者の政党もある。パレスチナ解放機構（PLO）の左翼派閥であるパレスチナ解放人民戦線（PFLP）やパレスチナ人民党（PPP）は大抵の場合、議席を確保している。ハマースは2005年の選挙で多数の議席を占めた。
2012年10月の選挙では、ファタハのヴェラ・バブーンが勝利し、ベツレヘムで初の女性市長となった。
ベツレヘム 教育
1997年のパレスチナ中央統計局（PCBS）の調査によると、10歳以上のベツレヘム市民は84%近くが読み書きを行える。10,414人は学校に通っていたことがあり、4,015人は初等教育まで、3,578人は中等教育まで、2,821人は高校に通っていた。高校に通っていたもののうち約14.1％は高校を卒業している。2006年にはベツレヘム県には135校の学校が存在した。100校はパレスチナ自治政府の教育庁が運営し、7校はUNRWAによって運営され、28校が私立校となっていた。
ベツレヘムにはベツレヘム大学がある。この大学はカトリック教徒の高等教育を行うために共学の大学として1973年にラ・サール会の伝統に則って設立され、どの宗教を信仰していても入学できる。西岸地区で初めて設立された大学であり、ラ・サール会がパレスチナやエジプトで学校を設立した1893年に起源を持つ。
ベツレヘム 交通
ベツレヘムには民間企業が運営する3つのバスターミナルがある。バスはエルサレム、ベイト・ジャラ、ベイト・サフール、ヘブロン、ナハリン、バティア、アル・ハデル、アル・ウベイディヤ、ベイト・ファジャー行きが運行している。2つのタクシー乗り場からはエルサレム、ベイト・ジャラ、ベイト・サフール、テコア、ヘロデオンに向かうことができる。レンタカーもムラドとオラービーの営業所が存在する。西岸地区のバスとタクシーの免許ではイスラエルに入国することが出来ず、エルサレムにも許可なく入ることは出来ない。
イスラエルが建設した分離壁は市街地の北側に沿って建てられ、数mの範囲内に片側にアイダ難民キャンプがあり、反対側にイスラエルの地区が存在している。ベツレヘム都市的集積地域から他の西岸地区への出入りはイスラエルによる検問所と道路封鎖により困難になっている。西岸地区からエルサレムに向かうベツレヘムの住民は許可制となっている。
ニューラルネットワーク
人工知能の分野におけるニューラルネットワーク（英: neural network; NN、神経網）は、生物の学習メカニズムを模倣した機械学習手法として広く知られているものであり、「人工ニューロン」と呼ばれる計算ユニットをもち、生物の神経系のメカニズムを模倣しているものである。人間の脳の神経網を模した数理モデル。模倣対象となった生物のニューラルネットワーク（神経網）とはっきり区別する場合は、人工ニューラルネットワーク (英: artificial neural network) と呼ばれる。
以下では説明の都合上、人工的なニューラルネットワークのほうは「人工ニューラルネットワーク」あるいは単に「ニューラルネットワーク」と呼び、生物のそれは「生物のニューラルネットワーク」あるいは「生物の神経網」、ヒトの頭脳のそれは「ヒトのニューラルネットワーク」あるいは「ヒトの神経網」と表記することにする。
ニューラルネットワーク 概要
人工ニューラルネットワークを理解するには、そもそもそれがどのようなものを模倣しようとしているのかを知っておく必要があるので説明する。ヒトの神経系にはニューロンという細胞があり、ニューロン同士は互いに軸索 (axon) と樹状突起 (dendrite) を介して繋がっている。ニューロンは樹状突起で他の神経細胞から情報を受け取り、細胞内で情報処理してから、軸索で他のニューロンに情報を伝達する。そして、軸索と樹状突起が結合する部分をシナプス(synapse)という（右図も参照。クリックして拡大して見ていただきたい。紫色の部分がひとつのニューロンであり、Dendrite, Axonなどが示されている。）。　このシナプスの結合強度というのは、外的な刺激に反応してちょくちょく変化する。このシナプス結合強度の変化こそが生物における「学習」のメカニズムである。
ニューラルネットワーク 概要
ヒトの神経網を模した人工ニューラルネットワークでは、計算ユニットが《重み》を介して繋がり、この《重み》がヒトの神経網のシナプス結合の「強度」と似た役割を担っている。各ユニットへの入力は《重み》によって強さが変化するように作られており、ユニットにおける関数計算に影響を与える。ニューラルネットワークというのは、入力用ニューロンから出力用ニューロンへと向かって計算値を伝播させてゆくが、その過程で《重み》をパラメータとして利用し、入力の関数を計算する。（ただし計算値が出力用ニューロンへと伝播されてゆくというだけでは入力パターンからある決まった出力パターンが出るだけなので、さほど有益というわけではない。）《重み》が変化することで「学習」が起きる（ここが重要なのである）。
（右図も参照のこと。右図で「weights」や、丸で囲まれた「w」が縦に並んでいるのが《重み》である。）
ニューラルネットワーク 概要
生物のニューラルネットワークに与えられる外的刺激に相当するものとして、人工ニューラルネットワークでは「訓練データ」が与えられる。いくつか方法があるが、たとえば訓練データとして入力データと出力ラベルが与えられ、たとえば何かの画像データとそれについての正しいラベルが与えられる（たとえばリンゴの画像データとappleというラベル、オレンジの画像データとorangeというラベルが与えられる）。ある入力に対して予測される出力が本当のラベルとどの程度一致するかを計算することで、ニューラルネットワークの《重み》についてフィードバックを得られ、ニューロン間の《重み》は誤差（予測誤差）に応じて、誤差が減少するように調整される。多数のニューロン間で《重み》の調整を繰り返し行うことで次第に計算関数が改善され、より正確な予測をできるようになる。（たとえばオレンジの画像データを提示されると「orange」と正しいラベルを答えられるようになる。） この《重み》の調整方法は、数学的にはバックプロパゲーションで偏微分して確率的勾配降下法で学習する方法である。
なお、ヒトのニューロンを模したユニットは人工ニューロンあるいはノードと呼ばれる。
ニューラルネットワーク 概要
右図の、多数のユニットが結合しネットワークを構成している数理モデルは、ニューラルネットワークのほんの一例である。（実際にはニューロンの数もさまざまに設定可能であるし、結合のしかたもさまざまに設定可能である。右図はあくまで、とりあえず説明にとりかかるための "一例" と理解いただきたい。
ユニットの構成（例: 線形変換の次元、非線形変換の有無・種類）やネットワークの構造（例: ユニットの数・階層構造・相互結合、入出力の再帰）に関して様々な選択肢があり、様々なモデルが提唱されている。）
各ユニットは入力のアフィン変換を必ず含み、多くの場合それに後続する非線形変換を含む（）。
ニューラルネットワークは機械学習のモデルとして利用され、分類・回帰・生成など様々なクラスのタスクに教師あり/教師なし問わず利用される。利用分野にはパターン認識やデータマイニング（例: 画像認識、レコメンデーション）が挙げられる。学習法は確率的勾配降下法が主流である。
2層以上の多層パーセプトロンは微分可能で連続な任意の関数を近似できることが証明されている（線形分離不可能な問題を解ける）。
形式ニューロンなど研究の源流としては生物の神経系の探求であるが、その当初から、それが実際に生物の神経系のシミュレーションであるか否かについては議論がある。生物学と相互の進展により、相違点なども研究されている。
ニューラルネットワーク 歴史
今日のディープニューラルネットワークは、200年以上前の統計学における初期の研究に基づいている。最も単純な種類のフィードフォワードニューラルネットワーク（FNN）は線形ネットワークであり、これは線形の活性化関数を持つ出力ノードの単一層で構成される。入力は一連の重みを介して直接出力に供給される。各ノードで重みと入力の積の合計が計算される。これらの計算された出力と与えられた目標値との間の平均二乗誤差は、重みを調整することによって最小化される。この技術は2世紀以上にわたって最小二乗法または線形回帰として知られている。これは、惑星の動きを予測するためにルジャンドル（1805年）およびガウス（1795年）によって、点集合に対する良好な近似線形フィットを見つける手段として使用された。 歴史的に、ノイマン型のようなデジタルコンピュータは、多数のプロセッサによるメモリへのアクセスを伴う明示的な命令の実行を介して動作する。一方、一部のニューラルネットワークは、コネクショニズムの枠組みを通じて生物学的システムにおける情報処理をモデル化しようとする試みから生まれた。ノイマン型とは異なり、コネクショニストの計算ではメモリと処理が分離されない。
ニューラルネットワーク 歴史
1943年、ウォーレン・マカロックとウォルター・ピッツは、ニューラルネットワークのための学習しない計算モデルである「神経回路網理論」を考察した（形式ニューロンを参照）。このモデルは、研究を2つのアプローチに分岐させる道を開いた。1つのアプローチは生物学的プロセスに焦点を当て、もう1つのアプローチはニューラルネットワークの人工知能への応用に焦点を当てた。 1949年、ドナルド・ヘッブは、ヘッブの法則として知られるようになった「シナプスの可塑性の理論」という仮説を提案した。これは、ローゼンブラットのパーセプトロンやホップフィールド・ネットワークなど、多くの初期のニューラルネットワークで使用された。
1954年、ファーリーとクラークは、計算機を使用してヘッブ型ネットワークをシミュレートした。1956年、ロチェスター、ホランド、ハビット、デューダによって他のニューラルネットワーク計算機が作成された。
ニューラルネットワーク 歴史
1958年、心理学者のフランク・ローゼンブラットは、最初に実装された人工ニューラルネットワークの1つであるパーセプトロンについて記述した。これは米国海軍研究局によって資金提供された。 R. D. ジョセフ（1960年）は、ファーリーとクラークによるさらに初期のパーセプトロンのような装置について言及している。「MITリンカーン研究所のファーリーとクラークは、パーセプトロンのような装置の開発において、実際にはローゼンブラットに先行していた」。しかし、「彼らはその主題を断念した」。
パーセプトロンは人工ニューラルネットワークの研究に対する世間の興奮を高め、米国政府は資金を大幅に増加させた。これは、パーセプトロンが人間の知能を模倣する能力に関する計算機科学者による楽観的な主張によって煽られた「AIの黄金時代」に貢献した。単純パーセプトロンには適応的な隠れ層がなかった。しかし、ジョセフ（1960年）は、適応的な隠れ層を持つ多層パーセプトロンについても議論した。1962年、ローゼンブラット:section 16は、H. D. ブロックと B. W. ナイトの研究も引用し、これらのアイデアを引用し採用した。残念ながら、これらの初期の取り組みは、隠れ層のための実用的な学習アルゴリズム、すなわち確率的勾配降下法にはつながらなかった。
ニューラルネットワーク 歴史
1960年代と1970年代に人工ニューラルネットワークに関する基礎研究が行われた。
1965年、ソビエト連邦のアレクシー・イヴァネンコとラパによって、最初の実用的なディープラーニングアルゴリズムが示された。これは、任意に深いニューラルネットワークを訓練するための手法であるデータ処理のグループ手法であった。彼らはそれを多項式回帰の一形態、あるいはローゼンブラットのパーセプトロンの一般化と見なした。1971年の論文では、この手法で訓練された8層のディープネットワークが記述されており、これは回帰分析による層ごとの訓練に基づいている。余分な隠れユニットは、別の検証セットを使用して刈り込まれる。ノードの活性化関数はKolmogorov-Gabor. の多項式であるため、これらは乗法ユニットまたは「ゲート」を持つ最初のディープネットワークでもあった。
ニューラルネットワーク 歴史
1967年、甘利俊一が多層パーセプトロンの確率的勾配降下法による学習を理論的に解析した論文を発表した。甘利の学生である斎藤庄司によるコンピュータ実験では、2つの修正可能な層を持つ2層の多層パーセプトロンが、線形分離不可能なパターンクラスを分類するために内部表現を学習し、日本語の修士論文で発表した。甘利俊一は1968年に書籍『情報理論II ―情報の幾何学的理論―』を出版し手法を解説した。扱っていたのは、入力が2次元ベクトル、出力がスカラーの二値分類問題で、1966年のR. O. Duda等の手書き文字認識のモデルを改変した  という区分的線形識別関数のモデルである。甘利俊一は2023年の書籍『深層学習と統計神経力学』のp.69で、これを5層と数えているのだが、一般的なニューラルネットワークの層の数を数える際は、入力層は数えず、更に、甘利俊一は線形変換と活性化関数で2層と数えているが、普通はこれを1層と数え、よって、一般的な数え方では5層ではなく2層である。確率的勾配降下法は1951年に開発されたものであるが、『深層学習と統計神経力学』のp.7によると、甘利俊一は1967年当時その研究を知らなくて、確率的勾配降下法を再発見している。その後のハードウェアの発展とハイパーパラメータの調整により、エンドツーエンドの確率的勾配降下法は現在主流の訓練手法となっている。
ニューラルネットワーク 歴史
ところが、1969年にマービン・ミンスキーとシーモア・パパートが単純パーセプトロンの限界（線形分離不可能なデータの判別問題を扱えないこと、排他的論理和回路を処理できないこと）を数学的に証明し、書籍『パーセプトロン』でそのことを記載したことで、1970年代になると神経回路網的手法に対する期待が一気にしぼみ、その研究者の数が急激に減ってしまった。なお、この単純パーセプトロンの限界は、上述の単純パーセプトロンではないイヴァフネンコと甘利が発表したニューラルネットワークには存在しなかった。甘利俊一の書籍『深層学習と統計神経力学』のp.9によると、彼らの書籍が原因というより、当時、東京大学の大型コンピューターを用いて計算していたが、256Kワードしかメモリがなく、当時のコンピューターの性能が低すぎたのがニューラルネットワークが流行らなかった原因であると述べている。
1969年、福島邦彦はReLU（正規化線形ユニット）活性化関数を導入した。ReLUは、ディープラーニングで最も人気のある活性化関数となっている。
1976年、ニューラルネットワーク学習に転移学習が導入された。
ニューラルネットワーク 歴史
バックプロパゲーション（誤差逆伝播法）とは、出力側から偏微分することで効率よく計算する手法である。1673年にゴットフリート・ヴィルヘルム・ライプニッツによって導出された連鎖律を使用する。自動微分ではトップダウン型（リバース・モード）と呼ばれる。
1962年、ローゼンブラットによって「back-propagating error correction procedure（誤差逆伝播訂正手順）」という用語が初めて用いられた。しかし、その時点ではこれを実装する方法を知らなかった。そして、これは言葉は似ているが、出力側からの偏微分の話ではない。
ニューラルネットワーク 歴史
1960年、ヘンリー・J・ケリーはに制御理論の文脈で、誤差逆伝播法（バックプロパゲーション）の連続的な前駆体を発表していた。1964年に自動微分が発表され、その際発表されたのは入力側から偏微分する方法だが、1960年代後半に出力側から自動微分にて偏微分する方法が文章では発表されていなかったが提案はされていた。1970年、セッポ・リンナインマーは修士論文で誤差逆伝播法（バックプロパゲーション）の現代的な形式を発表し、文章で発表したのはこれが最初とされる。1971年、G.M. オストロフスキーらはそれを再発表した。1982年、ポール・ワーボスはニューラルネットワークに誤差逆伝播法（バックプロパゲーション）を適用した（彼の1974年の博士論文、1994年の著書で再版は、まだアルゴリズムを記述していなかった）。
1986年、デビッド・ラメルハートらが出力側から偏微分する方法をバックプロパゲーション（誤差逆伝播法）と命名する。論文は最急降下法を使用していたのだが、同時に確率的勾配降下法で学習する方法も定着する。確率的勾配降下法により、それまでの限界を突破する道がとうとう開け、「ニューラルネットワーク」として多くの研究者の注目を浴びるようになった。
ニューラルネットワーク 歴史
1979年、福島邦彦は、畳み込み層とダウンサンプリング層、および重み複製を備えた畳み込みニューラルネットワーク（CNN）のディープラーニングアーキテクチャを導入したネオコグニトロンを開発。畳み込みニューラルネットワークの一般的なダウンサンプリング手順であるmaxプーリング法も導入された。しかし、この時点では確率的勾配降下法による学習は行われていなかった。畳み込みニューラルネットワークはコンピュータビジョンに不可欠なツールとなっている。
1987年、アレックス・ウェイベルによって、音素認識にCNNを適用するための時間遅延ニューラルネットワーク（TDNN）が導入された。これは畳み込み、重み共有、およびバックプロパゲーションを使用した。 1988年、ウェイ・チャンはバックプロパゲーションで訓練されたCNNをアルファベット認識に適用した。
1989年、ヤン・ルカンらは、郵便物の手書きZIPコードを認識するためにLeNetと呼ばれるCNNを作成した。訓練には3日を要した。LeNet-5という、7層のCNNは、数字を分類するもので、いくつかの銀行で32×32ピクセルの画像にデジタル化された小切手の手書き数字を認識するために適用された。1990年、ウェイ・チャンは光コンピューティングハードウェア上にCNNを実装した。
ニューラルネットワーク 歴史
1991年には、CNNが医用画像オブジェクトのセグメンテーションおよびマンモグラムにおける乳がん検出に応用された。 1988年以降、特に最初のカスケードネットワークが複数のシーケンスアラインメントによって生成された「プロファイル」（行列）で訓練されたとき、ニューラルネットワークの使用はタンパク質構造予測の分野を変革した。
リカレントニューラルネットワーク（RNN）は、2つの学問から見出された手法である。1つ目は統計力学であった。1972年、甘利俊一は、連想記憶のモデルとして、学習の要素を加えて、ヘッブの法則によってイジング模型の重みを修正することを提案した。これはジョン・ホップフィールド（1982年）によってホップフィールド・ネットワークとして普及した。
2つ目は神経科学であった。1901年、カハールは小脳皮質に「リカレント半円」を観察した。神経心理学者であったドナルド・ヘッブは、短期記憶の説明として「反響回路」を考察した。1943年、マカロックとピッツの論文では、サイクルを含むニューラルネットワークを考察し、そのようなネットワークの活動は、過去に無限に遡る活動の影響を受ける可能性がある、つまり再帰性があると指摘した。
ニューラルネットワーク 歴史
1982年、アレイアーキテクチャを持つリカレントニューラルネットワーク（RNN）、すなわちクロスバー適応アレイ（Crossbar Adaptive Array）が導入された。このリカレントニューラルネットワークは、出力から教師（教示）入力への直接的な再帰接続を使用した。行動や決定を計算することに加えて、結果の状況の内部状態評価を計算した。外部教師を排除し、ニューラルネットワークに自己学習法を導入した。
1980年代初頭、認知心理学において、学術誌「American Psychologist」で、認知と感情の関係についての議論が行われた。1980年、ザイアンスは感情は最初に計算され、認知とは独立していると述べたが、1982年、ラザルスは、認知が最初に計算され、感情とは不可分であると述べた。1982年、クロスバー適応アレイは、認知と感情の関係のニューラルネットワークモデルを提示した。これは、AIシステムであるリカレントニューラルネットワーク（RNN）が、認知心理学によって同時に取り組まれた問題に貢献した議論の一例であった。 ジョーダン・ネットワーク（1986年）とエルマン・ネットワーク（1990年）という2つの研究は、リカレントニューラルネットワーク（RNN）を認知心理学の応用することに貢献した。
ニューラルネットワーク 歴史
1980年代、誤差逆伝播法（バックプロパゲーション）は深いリカレントニューラルネットワーク（RNN）に対してうまく機能しなかった。この問題を克服するために、1991年、ユルゲン・シュミットフーバーは「ニューラルシーケンスチャンカー」または「ニューラルヒストリーコンプレッサー」を提案し、自己教師あり事前学習（ChatGPTの「P：Pre-trained」）と知識蒸留の重要な概念を導入した。1993年、ニューラルヒストリーコンプレッサーは、時間展開されたリカレントニューラルネットワーク（RNN）で1000以上の後続層を必要とする「超深層学習」タスクを解決した。
1991年、ゼップ・ホフレイターの論文では、勾配消失問題を特定して分析し、それを解決するために再帰的な残差接続を提案した。彼とシュミットフーバーは、複数の応用領域で精度の記録を打ち立てた長・短期記憶（LSTM）を導入した。これはまだ現代版のLSTMではなく忘却機能が必要とされた。これらの技術はRNNアーキテクチャのデフォルトとなった。
ニューラルネットワーク 歴史
1985年から1995年の間、統計力学の影響で、テリー・セジュノウスキー、ピーター・デイアン、ジェフリー・ヒントンらによって、ボルツマンマシン、制限付きボルツマンマシン、ヘルムホルツマシン、およびウェイク-スリープアルゴリズムなど、いくつかのアーキテクチャと手法が開発された。これらは深層生成モデルの教師なし学習のために設計された。
2006年、ジェフリー・ヒントンらによりオートエンコーダおよびディープ・ビリーフ・ネットワークが提案された。オートエンコーダは、ニューラルネットにおいて、入力層と出力層に同じデータを用いて教師なし学習させたものである。もともとは、次元削減や特徴抽出といった小さい次元に落とし込む作業を効率的に行うために開発された。実用上では、入力と出力の差分をとることで、異常検知に利用されている。
2009年から2012年にかけて、人工ニューラルネットワークは画像認識コンテストで賞を獲得し始め、さまざまなタスクで人間レベルのパフォーマンスに近づき、当初はパターン認識と手書き文字認識で成果を上げた。
ニューラルネットワーク 歴史
2011年、ダン・シレサン、ウエリ・マイヤー、ジョナサン・マッシ、ルカ・マリア・ガンバルデッラ、ユルゲン・シュミットフーバーによるCNN「DanNet」は、視覚パターン認識コンテストで初めて超人的なパフォーマンスを達成し、従来の方法を3倍上回った。その後、さらに多くのコンテストで優勝した。彼らはまた、GPU上のマックスプーリングCNNがパフォーマンスを大幅に向上させることを示した。 2012年10月、アレックス・クリジェフスキー、イリヤ・サツケバー、ジェフリー・ヒントンによるAlexNetは、ImageNetが開催する大規模な画像認識技術コンテストILSVRC(the ImageNet Large Scale Visual Recognition Challenge)で、既存の機械学習手法に大差をつけて勝利した。さらに、カレン・シモニャンとアンドリュー・ジサーマンによるVGG-16ネットワークやGoogleのInceptionv3が開発され飛躍的に性能が向上した。
2012年、アンドリュー・ンとジェフ・ディーンは、ラベルのない画像を見るだけで、猫などの高レベルの概念を認識することを学習するネットワークを作成した。教師なし事前学習と、GPUおよび分散コンピューティングによる計算能力の向上により、特に画像および視覚認識の問題でより大規模なネットワークを使用できるようになり、これが「ディープラーニング」として知られるようになった。
2013年、動径基底関数ネットワークとウェーブレットネットワークが導入された。これらは最良の近似特性を提供することが示されており、非線形システム同定および分類アプリケーションで適用されている。
2014年、敵対的生成ネットワーク（GAN）（イアン・グッドフェローら、2014年）が導入され、2014年から2018年の期間に生成モデリングの最先端となった。GANの原理はもともと1991年にユルゲン・シュミットフーバーによって発表され、「人工的好奇心」と呼ばれた。2つのニューラルネットワークがゼロサムゲームの形で互いに競い合い、一方のネットワークの利得がもう一方のネットワークの損失となる。最初のネットワークは、出力パターンに対する確率分布をモデル化する生成モデルである。2番目のネットワークは、勾配降下法によって、これらのパターンに対する環境の反応を予測することを学習する。優れた画質は、テロ・カラスらによるプログレッシブGANに基づいたNvidiaのStyleGAN（2018年）によって達成される。ここでは、GANジェネレータはピラミッド方式で小規模から大規模に成長させられる。GANによる画像生成は広く成功を収め、ディープフェイクに関する議論を引き起こした。
2015年、拡散モデルが発表された。拡散モデルは、DALL-E 2（2022年）やStable Diffusion（2022年）に用いられGANを凌駕した。 当時、20～30層の「超深層ニューラルネットワーク」を訓練する必要があったが、あまりにも多くの層を重ねると、訓練精度が急激に低下する、いわゆる「劣化」問題が発生した。
2015年、それらの問題を解決するために、超深層ネットワークを訓練するために、2015年5月にハイウェイネットワークが発表され、2015年12月に残差ニューラルネットワーク（ResNet）が発表された。
2014年頃、GoogleによりSeq2Seqが開発され、アテンションメカニズムが追加された。Seq2Seqは、情報理論のエンコード・デコードの考え方を機械翻訳に応用したもので、2014年に発表された2つの論文をもとに開発された。。具体的には、エンコーダーと呼ばれるニューラルネットワークが入力シーケンス（文章など）を固定長の数値ベクトルに変換し、デコーダーと呼ばれる別のニューラルネットワークがそのベクトルから出力シーケンスを生成する。当初のモデルでは、エンコーダーとデコーダーの両方にLSTMが使用されていた。このseq2seqには主に2つの問題点があった。一つ目は、ボトルネック問題と呼ばれる問題であり、入力情報を固定長のベクトルに圧縮するため、長い文章では情報が失われやすいという問題があった。二つ目は、リカレントニューラルネットワーク（RNN）をベースにしているため、計算の並列化が難しく、処理に時間がかかるという問題があった。
2017年に発表された論文、「Attention Is All You Need」により、seq2seqが抱えている問題を解決した。これが現代のTransformerにつながった。1992年に発表されたユルゲン・シュミットフーバーの「高速重みコントローラー」は線形にスケールし、後に非正規化線形Transformerと等価であることが示された。 Transformerは、自然言語処理のモデルとしてますます選択されるようになっている。ChatGPT、GPT-4、BERTなど、多くの現代の大規模言語モデルがこのアーキテクチャを使用している。
ニューラルネットワーク 代表的な人工ニューラルネットワーク
順伝播型ニューラルネットワーク（フィードフォワードニューラルネットワーク、英: Feed-forward Neural Network; FFN, FFNN）は内部に循環を持たないニューラルネットワークの総称・クラスである。
ニューラルネットワークではしばしば層（レイヤ）の概念を取り入れる。FFNでは入力レイヤ→中間レイヤ→出力レイヤというように単一方向/順方向へのみ信号が伝播する。これは回帰型ニューラルネットワークと対比される。層間の結合様式により様々なニューラルネットワークが存在するが、結合様式に関わらず回帰結合を持たないものはすべてFFNに属する。以下はFFNの一例である。
FFNがもつ特徴に並列計算がある。回帰結合をもつネットワークはシーケンシャルに処理を繰り返す必要があるため、1データに対して時間方向に並列計算できない。FFNは層内で並列計算が可能であり、RNNと比較して容易に並列計算機（例: GPU）の計算能力を上限まで引き出せる。
誤差逆伝播法に用いられる活性化関数に放射基底関数を用いたニューラルネットワーク
自己組織化写像はコホネンが1982年に提案した教師なし学習モデルであり、多次元データのクラスタリング、可視化などに用いられる。自己組織化マップ、コホネンマップとも呼ばれる。
ニューラルネットワーク 代表的な人工ニューラルネットワーク
畳み込みニューラルネットワークとは層間が全結合ではない順伝播型ニューラルネットワークの一種。画像を対象とするために用いられることが多い。
フィードフォワードニューラルネットと違い、双方向に信号が伝播するモデル。すべてのノードが他の全てのノードと結合を持っている場合、全結合リカレントニューラルネットと呼ぶ。シーケンシャルなデータに対して有効で、自然言語処理や音声、動画の解析などに利用される。
Self-Attention機構（自己注意機構）を利用したモデルである。再帰型ニューラルネットワークの代替として考案された。
従来の自然言語処理用モデルに比べ計算量が少なく構造も単純なため、自然言語処理に使われることが多い。
乱数による確率的な動作を導入した人工ニューラルネットワークモデル。モンテカルロ法のような統計的標本抽出手法と考えることができる。
ニューラルネットワークをより生物学的な脳の働きに近づけるため、活動電位（スパイク）を重視して作られた人工ニューラルネットワークモデル。スパイクが発生するタイミングを情報と考える。ディープラーニングよりも扱える問題の範囲が広い次世代技術と言われている。ニューラルネットワークの処理は逐次処理のノイマン型コンピュータでは処理効率が低く、活動電位まで模倣する場合には処理効率がさらに低下するため、実用する際には専用プロセッサとして実装される場合が多い。
ニューラルネットワーク 代表的な人工ニューラルネットワーク
2015年現在、スパイキングNN処理ユニットを積んだコンシューマー向けのチップとしては、QualcommのSnapdragon 820が登場する予定となっている。
入出力信号やパラメータ（重み、閾値）が複素数値であるようなニューラルネットワークで活性化関数は必然的に複素関数になる。
情報の表現
入力信号と出力信号が複素数（2次元）であるため、複素数で表現された信号はもとより、2次元情報を自然に表現可能。また特に波動情報（複素振幅）を扱うのに適した汎化能力（回転と拡大縮小）を持ち、エレクトロニクスや量子計算の分野に好適である。四元数ニューラルネットワークは3次元の回転の扱いに優れるなど、高次複素数ニューラルネットワークの利用も進む。
学習特性
階層型の複素ニューラルネットワークの学習速度は、実ニューラルネットワークに比べて2〜3倍速く、しかも必要とするパラメータ（重みと閾値）の総数が約半分で済む。学習結果は波動情報（複素振幅）を表現することに整合する汎化特性を示す。
生成モデル（統計モデルとも）は、データが母集団の確率分布に従って生成されると仮定しそのパラメータを学習するニューラルネットワークの総称である。統計的機械学習の一種といえる。モデル（＝母集団）からのサンプリングによりデータ生成が可能な点が特徴である（詳しくは推計統計学 § 統計モデル、機械学習 § 統計的機械学習）。
ニューラルネットワーク 代表的な人工ニューラルネットワーク
自己回帰型生成ネット（Autoregressive Generative Network）とは、系列データの生成過程（同時確率分布）を系列の過去データに対する条件付分布の積と考え条件付分布をニューラルネットワークで表現するモデルである。非線形自己回帰生成モデルの一種、詳しくは自己回帰モデル § 非線形自己回帰生成モデル。画像生成におけるPixelCNN、音声生成におけるWaveNet・WaveRNNがその例である。学習時は学習データを条件付け（=入力）にできるため、ニューラルネットワーク自体が再帰性を持っていなければ並列学習が容易である（CNN型のWaveNetなど）。ニューラルネットワーク自体に再帰性がある場合は学習時も系列に沿った逐次計算が必要となる（RNN型のWaveRNNなど）。
変分オートエンコーダ (VAE) とは、ネットワークA（エンコーダ）が確率分布のパラメータを出力し、ネットワークＢ（デコーダ）が確率分布から得られた表現をデータへと変換するモデルである。画像・音楽生成におけるVQ-VAE-2がその例である。
ニューラルネットワーク 代表的な人工ニューラルネットワーク
敵対的生成ネットワーク (Generative Adversarial Network, GAN) とは、ガウシアン等の確率分布から得られたノイズをネットワークA (Generator) がデータへ変換し、ネットワークBが母集団からサンプリングされたデータとネットワークＡの出力を見分けるように学習するモデルである。DCGANやStyleGAN、BigGANがその例である。
flow-based生成モデルはFlow、Glow、NICE、realNVP等が存在する。
グラフを入力とするニューラル・ネットワークである。
ニューラルネットワーク 構成要素
ニューラルネットワークは様々な要素を組み合わせからなる。各構成要素は経験的・理論的に示された特徴をニューラルネットワークへもたらしている。
バッチ正規化（英: Batch Normalization）は学習時のミニバッチに対する正規化である。バッチ正規化レイヤー/BNでは学習時にバッチ内統計量（平均μ, 分散σ）を計算し、この統計量により各データを正規化する。その上で学習可能パラメータ (β, γ) を用いて y = γX+βの線形変換をおこなう。これにより値を一定のバラツキに押し込めた上で柔軟に線形変換することができる。
CNNの場合、各チャネルごとにバッチ正規化処理がおこなわれる。バッチ方向ではない正規化手法も様々提案されており、Layer Norm・Instance Norm・Group Normなどがある。また正規化時のβ・γを計算から求めたりNN(β)・NN(γ)で表現する手法も存在する。
ニューラルネットワーク 活性化関数
ニューラルネットワークにおいて、各人工神経は線形変換を施した後、非線形関数を通すが、これを活性化関数という。シグモイド関数やReLUなど様々な種類があり、詳細は活性化関数を参照。
ニューラルネットワーク 学習
ニューラルネットワークの学習は、損失関数を最小化する最適化問題である。現在は確率的勾配降下法が最もよく用いられている。確率的勾配降下法の計算方法は AdaGrad, AdaDelta, Adam など様々な変種が作られている。詳細は確率的勾配降下法を参照。
確率的勾配降下法を使用するには、損失関数のパラメータに関する偏微分を計算する必要がある。その際、出力側から偏微分を計算すると効率よく計算できる。この手法は1986年にバックプロパゲーションと命名された。1960年代に開発された自動微分のトップダウン型（リバース・モード）と同一の手法であり、現在では、手作業で式変形をするのではなく自動微分が通常は使われる。手作業で式変形する方法はバックプロパゲーションを参照。入力側よりも出力側から偏微分を計算すると計算効率が良いのは損失関数の出力がスカラーだからであり、詳細は自動微分を参照。
ニューラルネットワーク 学習
1986年のバックプロパゲーション命名以前は、勾配法以外の学習方法(gradient-free method)が主に使われていて、様々な方法が提案されてきて、現在でも研究が進められている。
確率的勾配降下法を用いて（深層）ニューラルネットワークモデルを素早く・最適解へ収束させるために様々なテクニックが提唱されている。
標準的なテクニックをヤン・ルカンらが1998年にまとめていて、2010年に Xavier Glorot らが追証・発展させている。以下に要約する。詳細はそれぞれの論文を参照。
ニューラルネットワーク 推論
ニューラルネットワークの学習と対比して、学習したニューラルネットワークで出力を計算することは推論（英: inference）と呼ばれる。
ニューラルネットワーク 実装
ニューラルネットワークは「アフィン変換 + 非線形活性化関数; 」を基本単位とするため、実装の基礎はドット積ひいては積和演算になる。またレイヤー概念によりスカラ出力を束ねた出力ベクトルとなり（）、Level 2 BLAS すなわち行列ベクトル積が基礎となる。入力のバッチ化は入出力の行列化と同義であり（）、Level 3 BLAS すなわち行列積が基礎となる。
ニューラルネットワークの学習と推論を高速化する様々なハードウェアアクセラレーションAPIが提案・実装されている。NVIDIAのcuDNNやIntelのoneDNNなどが挙げられる。
行列の掛け算はGPGPUが得意としており、高速に計算できる。PythonではPyTorchやTensorFlowなどのライブラリおよびそれを間接的に使用してる機械学習のライブラリなどがある。
CPUのメニーコアやSIMDを有効活用する簡単な方法は行列演算ライブラリを使用する方法である。行列演算ライブラリとしては、例えばインテルのCPU向けではIntel Math Kernel Libraryなどがある。
ニューラルネットワーク 実装
バックプロパゲーションは完了までに非常に時間のかかる反復処理である。マルチコアのコンピュータでマルチスレッド技法を使えば、収斂までにかかる時間を大幅に短縮することができる。バッチ学習を行う場合、マルチスレッドでバックプロパゲーションのアルゴリズムを実行するのが比較的簡単である。
訓練データをそれぞれのスレッド毎に同程度の大きさに分割して割り当てる。それぞれのスレッドで順方向と逆方向のプロパゲーションを行う。重みとしきい値のデルタをスレッド毎に合計していく。反復の周回毎に全スレッドを一時停止させて、重みとしきい値のデルタを合計し、ニューラルネットワークに適用する。これを反復毎に繰り返す。このようなバックプロパゲーションのマルチスレッド技法がEncog Neural Network Frameworkで使われている。
量子化（英: quantization）はニューラルネットワークの重み（weight）および演算入出力（activation）の数値表現精度を下げる最適化である。例えば8-bit量子化では通常FP32で表現される数値をINT8で表現する。
ニューラルネットワーク 実装
量子化の効果は以下の要素から生み出される。
量子化が最終的にメリットをもたらすかは上記の要素の組み合わせで決定される。効率的な命令セットを持たない場合、出力精度が下がりさらにQDQの計算負荷が勝って速度が悪化する場合もある。このように、量子化の効果はモデルとハードウェアに依存する。
量子化手法にはいくつかのバリエーションがある。
スパース化（英: sparsification）はニューラルネットワークの重みを疎行列とする最適化である。スパース化は精度の低下と速度の向上をもたらす。
スパース化の効果は以下の要素から生み出される。
スパース化の恩恵を受けるためにはそのためのフォーマットや演算が必要になる。ゼロ要素を省略する疎行列形式、疎行列形式に対応した演算実装などが挙げられる。またスパース化を前提として精度低下を防ぐよう学習する手法が存在する。
より広い意味での重み除去は枝刈り（英: pruning）と呼ばれる。枝刈りでは行列のスパース化のみでなく、チャネルやモジュール自体の削除（ゼロ近似）を含む。
ニューラルネットワーク 実装例
ここでは、2層の多層パーセプトロンで回帰を実装する。 において、 を学習する。活性化関数はReLUを使用。学習は、確率的勾配降下法でバックプロパゲーションを行う。
2層の多層パーセプトロンのモデルの数式は以下の通り。X が入力、Y が出力、T が訓練データで全て数式では縦ベクトル。 は活性化関数。 が学習対象。 はバイアス項。
誤差関数は以下の通り。誤差関数は出力と訓練データの間の二乗和誤差を使用。
誤差関数  をパラメータで偏微分した数式は以下の通り。肩についてる T は転置行列。 はアダマール積。
Python 3.5 によるソースコード。Python において、@ は行列の乗法の演算子、** は冪乗の演算子、行列同士の * はアダマール積。
ブリタンニア
ブリタンニア（ラテン語: Britannia）は、古代ローマがグレートブリテン島南部に設置した属州の一つ。また属州の置かれた島（現在のグレートブリテン島）とその周辺の小群島をも指す。住民は主にケルト系ブリトン人で、属州化以降ローマ人やガリア人、ゲルマン人が主に兵士として渡来した。ローマの支配は43年から410年まで及び、現在のイングランド南部を中心にローマ化が進んだ。五賢帝の一人ハドリアヌスが北部からピクト人等の異民族の侵攻を食い止めるために築いたハドリアヌスの長城が有名である。
ブリタンニア ローマの接触と属州ブリタンニアの成立
ガイウス・ユリウス・カエサルがガリア戦争中の紀元前55年と54年に2度の遠征を行ったときが、ローマとブリタンニアが直接に接触した最初である。ただ、この遠征はガリアを掌握する一環として行われたものであり、恒久的な拠点を獲得するものではなかった。
40年にカリグラは再びブリタンニアへの遠征を企画したが、この計画自体は実現性に乏しく、その後ローマで政変が起こり、結局実行されなかった。
ブリタンニアが実際にローマの勢力に組み入れられたのは、43年のクラウディウス帝の遠征によってである。このときアウルス・プラウティウスを総司令官とする4個軍団約4万のローマ軍は、カトゥウェッラウニ族の王カラタクスに率いられたブリトン人部族連合を破り、ついでクラウディウス帝自身による援軍を待った後、カトゥウェッラウニ族の都であるカムロドゥヌム（現在のコルチェスター）を占領した。直後にクラウディウス帝は同地で属州設置宣言を行い、紀元43年に属州ブリタンニアが誕生した。占領当時はカムロドゥヌム（後に植民市化）を中心とする南東部一帯のみを支配下に置いていたが、その後ローマは北部、西部、南西部の各方面に軍を展開、抵抗する部族を平定し、着実に領土を増やしていった。なお、南西部に展開した第9軍団ヒスパナは、のちにフラウィウス朝初代皇帝となるウェスパシアヌスが軍団長を務めていた。
ブリタンニア 支配の拡大と反乱
属州ブリタンニアの統治は、基本的に圧倒的な軍事力による武断統治である。総督には代々軍団長やそれに準じる経験を持つ者が就任し、前述のカムロドゥヌムは退役兵に住まわせるための植民市とした。各軍団は、時代により異動があるもののコーンウォール地方のイスカ・ドゥムノニオルム（現エクセター）、ウェールズ南部のイスカ・シルルム（現カーリーアン）、ノーサンブリアのエボラクム（現ヨーク）、ウェールズ北部のデウァ（現チェスター）にそれぞれ正規軍団要塞を構え、各方面の辺境を守備するとともに属州領内部を監視した。領土内では、従属させた各部族をそのままローマ式の行政単位（キウィタス）に改変し、税を課した。しかし一方で、従順な部族の権利は実質的に温存された。また、ローマ軍に協力した隷属部族（イケニ族、アトレバテス族、レグニ族など）は一時的に独立が許されたが、王統が途絶えると軍事力でもって強制的に属州領に併合させられた。属州ブリタンニア最大の先住民反乱であるボウディッカの反乱もイケニ族の併合に端を発する動乱であった。
以上のような統治体制の下で属州ブリタンニアは比較的安定し、アグリコラ総督の時代（78年 - 85年）にはカレドニア（スコットランド）北部を除くほぼ全領域を支配、属州時代最大の版図を現出した。
ブリタンニア 支配の拡大と反乱
しかしそれ以降は北部のスコット族からの圧力が強まり、五賢帝時代には北方前線が後退するとともにハドリアヌスの長城、アントニヌスの長城が築かれた。補助軍の基地の一つヴィンドランダ遺跡には当時の守備兵の風俗を伝える大量の木簡文書が発見されている。
ブリタンニアには前述の通り多数のローマ軍が駐在し、総督には皇帝の信頼が厚い熟練した人材を充てられることが多かった。このためブリタンニア総督を経験した皇帝は少なくない。ペルティナクス、ゴルディアス1世がこれに含まれる。
193年にローマ皇帝となったセプティミウス・セウェルスと、皇帝位を争ったクロディウス・アルビヌスは、ブリタンニア総督であった。アルビヌスの戦死後、セウェルスはブリタンニアを上ブリタンニアと下ブリタンニアの2州に分割した。この分割は、ほぼ1世紀にわたって反乱を防いだものの、カラウシウス（286年 - 297年）の反乱が起こり、コンスタンティウス・クロルスがブリタンニアをさらに4州に分割した。
ブリタンニア 帝政後期の混乱、ローマ軍の撤退と支配の終焉
4世紀に入ると、ブリタンニアは2方面からの攻撃にさらされるようになった。西部からのアイルランド人の攻撃と、東部からのサクソン人の攻撃である。反乱が相次ぎ、ローマ人の活動は次第に低調になっていった。
407年にコンスタンティヌス3世がローマ皇帝を自称し、残軍を率いてブリタンニアを離れたとき、ローマの支配は終焉を迎えた。この頃既に西ローマ帝国ではイタリアやガリアにゲルマン人が侵入し、ラヴェンナの西ローマ政府にはイタリアから遠いブリタンニアを維持する力は残っていなかったのである。残された属州の住民たちは自分たちで防衛と自治に当たらなければならなかった。このことは410年に皇帝ホノリウスがブリタンニアに送った手紙に現れている。
ローマ人の撤退以後、ブリタンニアでは古来からのブリトン人の部族制が復活する。それぞれが王を戴く部族国家が乱立し、政治的統一がされる前にゲルマン系アングロ・サクソン人の侵入を迎える。混迷の暗黒時代の到来である。
ルキウス・ドミティウス・アウレリアヌス
ルキウス・ドミティウス・アウレリアヌス（ラテン語: Lucius Domitius Aurelianus, 214年9月9日 - 275年9月または10月）は、軍人皇帝時代のローマ皇帝（在位270年 - 275年）である。当時3つに分裂していたローマ帝国を統一した。
ルキウス・ドミティウス・アウレリアヌス 生涯
ルキウス・ドミティウス・アウレリアヌスはローマ属州パンノニアの州都シルミウムの出身とされ、その出自には諸説があり、父もシルミウム出身で富裕な元老院議員で農場主であったと伝えられる。いずれにしても低い身分の出であった。
一介の軍団兵から軍キャリアを起した後、ケントゥリオ、トリブヌスなどへ昇進を重ねた。皇帝ウァレリアヌスによって抜擢されたことがアウレリアヌスの名を広めた契機となり、ガッリエヌス帝統治下の268年に起こったナイススの戦いに於いてゴート族の騎馬隊を撃退する活躍を見せた。皇帝クラウディウス・ゴティクスの下では騎兵の総司令官を務めた（クラウディウス・ゴティクスと共にガッリエヌスの暗殺に関わったという説もある）。270年1月にクラウディウス・ゴティクスが病死した後、クィンティッルスが即位したが、蛮族の侵入、ローマ帝国の分裂という危機的な状況の下、危機に強い優秀な軍人という理由で軍によって皇帝に推挙され、クィンティッルスを破って、名実共にローマ皇帝となった。
デキウス帝が戦死（アブリットゥスの戦い）したようにローマにとって北方異民族の侵入は難問であり、アウレリアヌスの代でも激化の一方であった。クラウディウス・ゴティクスの時期にゴート族を撃破（ナイススの戦い）したことで小康状態にあったものの、クラウディウス・ゴティクスの死とその後の混乱で、再び北方異民族の動きが活発化しつつあった。
ルキウス・ドミティウス・アウレリアヌス 生涯
271年、アラマンニ族がポー平野に入り町を略奪しながら、イタリアに向かって侵入した。アラマンニ族は40,000の騎兵および80,000の歩兵を以てドナウ川及びポー川を渡り、プラセンティア（現：ピアチェンツァ）を占領して、ファーノに向かって進んだ。ヴァンダル族に備えるべくパンノニアにいたアウレリアヌスはイタリアに入ったものの、ローマ軍はアラマンニ族にプラセンティア近郊で待ち伏せに遭って一旦は敗北したものの、アウレリアヌスはポー川と再交差するパヴィアまで行軍しメタウロ川（Metaurus）の近くで宿営していたアラマンニと交戦（ファーノの戦い）してこれを撃破した。さらにパウィア近郊での3度目の決戦でアレマンニ族の軍を壊滅させ、アレマンニ族を北方へ退けた（これにより "Germanicus Maximus" の称号を受けた）。
ルキウス・ドミティウス・アウレリアヌス 生涯
また、アウレリアヌスはバルカン半島へ侵入したゴート族と戦い、ゴート族の族長カンナバウデス（Cannabaudes）を討ち取り、ゴート族もドナウ川以北へと退けた（これにより "Gothicus Maximus" の称号も得た）。北方蛮族の侵入をひとまずは食い止めたものの、ドナウ川の北側に位置し防衛が極めて困難であったダキア属州をゴート族へ譲渡すると共にドナウ川の南にセルディカ（Serdica、現：ソフィア）を州都として新ダキア属州を新設し、ドナウ川南岸を防衛線とする体制を構築した。
再三にわたってイタリア本土へ侵攻する北方異民族に対して、ローマを守る必要に迫られたアウレリアヌスは、王政ローマ期以来となるローマを囲む城壁（「アウレリアヌス城壁」）を構築し始めた（完成は死後）。
シュリアやパレスチナなどのローマの東方属州を支配するパルミラ帝国は、アウレリアヌスをローマ帝国全体の皇帝として認めていたものの、国王であるウァバッラトゥス（ゼノビアの息子）もまた「皇帝（アウグストゥス）」を自称していた。アウレリアヌスはパルミラへ降伏を呼びかけたものの、抗戦の姿勢を示したことから、272年にアウレリアヌスは軍を率いてパルミラ領へ入った。
ルキウス・ドミティウス・アウレリアヌス 生涯
ビザンティウムとティアラで抵抗があったものの、これを下し降伏後に寛大な処置を取ったことから、多くの都市が無血で開城した。パルミラ軍とはアンティオキアおよびエメサ近郊での2度の戦闘にいずれも勝利を収めた（ウァバッラトゥスはこの際に戦死したともされる）。ゼノビアはパルミラ市へ籠城して、ローマ軍の兵站切れを狙ったものの、エジプトを制圧したプロブス軍がパルミラへ来援して補給路を確立させたことから、不利を察したゼノビアはペルシア（サーサーン朝）への逃亡を図ったが、ユーフラテス河畔でゼノビアを捕虜とした。こうしてパルミラ王国を崩壊に追い込み、東方属州の回復に成功した。また、パルミラ王国の崩壊後にエジプトで皇帝を僭称し、ゼノビアの盟友を自称したフィルムスを破った。
パルミラで勝利を収めたアウレリアヌスは東方をプロブスに委ね、西方属州に割拠していたガリア帝国に目を向けた。274年、ガリア皇帝テトリクス1世は帝位を返上してガリア帝国をローマへ復帰させることを望んでいたため、アウレリアヌスと示し合わせた上で、シャロン＝アン＝シャンパーニュで対陣した後にローマへ降伏した。こうして西方属州もローマ帝国へ復帰することとなった。
ルキウス・ドミティウス・アウレリアヌス 生涯
アウレリアヌスは三分されていた帝国を再統一することに成功、274年ローマに於いて凱旋式を挙行、この際に征服した各民族と共にゼノビアを連行したことで話題を集めた。また、これら一連の功績により元老院から「"Restitutor Orbis" /レスティトゥトル･オルビス（世界の修復者）」の称号を得た。
国内政策では、粗製濫造されていた金貨・銀貨・銅貨の発行体制の再構築に乗り出し、これに絡んで不正を働いて利益を得ていた（とされる）通貨鋳造所職員がストライキを実施するものの、アウレリアヌスはこれを武力でもって鎮圧。一説には反乱に加わった職員や元老院議員ら約7,000名が死亡したとされる。
275年、シャープール1世が没した直後のサーサーン朝へ遠征に向かう途中、アウレリアヌスは秘書官の一人（ゾシムスによるとエロス（Eros）なる人物）を叱責した。これに身の危険を感じた秘書官は謀略を仕組み、アウレリアヌスは自軍の将軍（エドワード・ギボンによるとムカポル（Mucapor）なる人物）に暗殺された（なお、後になって秘書官の謀略が露見し、秘書官は処刑された）。アウレリアヌスの突然の死は帝国に大きな衝撃を与え、マルクス・クラウディウス・タキトゥスが即位するまで数ヶ月にわたって皇帝不在の時期が生じたとされる。
オリンポス
オリンポス、オリンパス、オリムパス（英語:Olympus）