stanford-oval/wikipedia huggingface dataset:
GPT-2

| --- | --- |
 GPT-2がプロンプトを補完する様子を示すHugging FaceのWrite With Transformerのウェブサイト。Wikipediaのこの記事から得たテキストをプロンプトとして用いた。最初のプロンプトに続くハイライトされたテキストはすべて最初の補完候補から機械的に生成されたもので、それ以外の編集はない。
作者:  OpenAI
初版:  14 February 2019年 (5年前) (14 February 2019)
リポジトリ:  https://github.com/openai/gpt-2
前身:  GPT-1
後継:  GPT-3
種別:  Transformer 言語モデル
公式サイト:  openai.com/blog/gpt-2-1-5b-release/
テンプレートを表示
Generative Pre-trained Transformer 2（GPT-2） は、2019年2月にOpenAIによって開発されたオープンソースの人工知能ソフトウェアである。GPT-2は、テキストを翻訳し、質問に答え、文章の要約を行い、時には人間と見分けがつかないようなテキスト出力を生成するが、長い文章を生成すると繰り返したり意味不明な表現になることもある。GPT-2は、多目的学習器であり、特定のタスク（仕事）を行うための特別な訓練を受けてはおらず、これらのタスクを行う能力は、任意の順序で次の項目を正確に合成する一般的な能力の延長線上にある。GPT-2は、OpenAIの2018年版GPTモデルの「スケールアップ版」として構築され、パラメータ数と訓練用データセットがともに10倍に増加した。
GPTアーキテクチャは、ディープラーニング（深層学習）によるニューラルネットワーク、具体的には「トランスフォーマー（Transformer）モデル」を実装しており、これまでの回帰型や畳み込み型のアーキテクチャの代わりに「アテンション」を使用している。アテンション機構により、モデルは、入力テキストの中から最も関連性が高いと予測される部位に選択的に焦点を当てることができる。このモデルでは、並列化を大幅に向上させることができ、RNN／CNN／LSTMに基づくモデルのこれまでのベンチマークよりも優れた性能を発揮している。
OpenAIは、2019年11月、GPT-2言語モデルの完全版（15億個のパラメータを含む）を公開した。GPT-2に続いて、1,750億個のパラメータを含むGPT-3が、2020年に公開される予定だった（そのソースコードは公開されていない）。GPT-3へのアクセスは、OpenAIとマイクロソフトが提供するアプリケーションプログラミングインタフェース（API）を通じてのみ提供されている。
背景

コンピュータの黎明期（英語版）から人工知能は研究対象であった。1950年にアラン・チューリングが提唱した「イミテーション・ゲーム（imitation game）」（しばしばチューリング・テストと呼ばれる）は、電子システムや機械的システムの知的行動をとる能力を、評価者がシステムと人間の行動を区別する能力によって判定することを提案するものである。「機械学習（machine learning）」という用語は、早くも1959年に、IBMの研究者であるアーサー・サミュエルによって、人工知能の可能性を説明する言葉として最初に使われた。現在、この用語には、統計的学習、データサイエンス、ニューラルネットワークなど、計算問題に対するさまざまな手法（しばしば人工知能の下に置かれる）が包含されている。
背景 > 計算言語学

コンピュータによる自然言語処理（NLP）は、もともと計算言語学の一分野として考えられていたもので、コンピュータのハードウェアに能力が備わると同時に試みられるようになった。1948年、ロンドンのバークベック・カレッジで開発された辞書ルックアップテーブルが最初の応用例である。1954年のジョージタウン大学での実験（英語版）では、60文のロシア語の文章を英語に翻訳するという（主にロシア語の単語を英語の同義語に置き換える）完全に自動化された機械翻訳が実演された。そのシステムには6つの文法規則と250語の語彙しかなく、統語構造の解析や翻訳も行われなかったため、翻訳は粗雑なものが多かった。しかし、この実験によって、コンピュータが自然言語を解釈し処理できることが一般に証明され、さらなる研究のためにCIAの資金が確保された。直接置換は、機械翻訳プログラムを評価する際の基準として残存している。
20世紀半ばには、人間とコンピュータの対話（HCI）に自然言語を利用するシステムも登場し始めた。1968年から1970年にかけてMITで開発された「SHRDLU」は、いくつかの物体がある仮想空間で、ユーザーが自然言語による命令を使って対話を行うプログラムである（たとえば「今持っているものより高いブロックを探して、箱の中に入れる」）。1966年に開発されたおしゃべりロボットの「ELIZA」は、人間の対話者が入力したテキストからキーワードを解析し、会話に適する返答をした。多くの被験者が、ELIZAの会話と人間の会話を区別できないと主張したが、これが知性を構成するかどうかという問題については議論となった（もっとも有名な台本は、心理療法士がユーザーの言ったことをほぼそのまま繰り返すというパロディであった）。
機械翻訳の初期の試みは純粋に計算によるものだったが、1950年代になると、計算言語学の主流がノーム・チョムスキーの普遍文法という概念が重視されるようになった。当時のNLP研究は、任意の自然言語の文を、言語に依存しない論理構造に還元する試みが中心であった。1970年代には、意味論的なNLPシステムは、構文的なエンコーディング（syntactic encodings）を避け、より一般意味論的なエンコーディング（semantic encodings）を支持するようになった。しかし、ニューラルネットワークが登場するまでは、ほとんどのシステムが、手作業でプログラムされた大規模な（そしてますます扱いにくくなった）ルールセットに依存し続け、当初の狙いどおりに拡張することはできなかった。
人工知能の分野は20世紀後半も発展を続けたが、ときおり「AIの冬」と呼ばれる停滞期が訪れた。さまざまな文献で、「AIの冬」はさまざまな時期に発生したと述べられている。1994年にHoweは、1973年に始まって10年続いたと著し、2003年のRussell & Norvigは、1988年にすぐ始まったと述べている。
背景 > ニューラルネットワーク

人工知能の初期の概念であるコネクショニズムは、生物学的な脳におけるニューロン（神経細胞）の挙動をシミュレートするように設計された人工ニューラルネットワークによって知的行動を引き起こそうとするものであった。人工ニューラルネットワークの最初の例は、1951年に構築された「SNARC（英語版）」である。「パーセプトロン」（二値分類器の一種）は、1957年に心理学者のフランク・ローゼンブラットによって発表された。彼の機械は、400個のフォトセル（光電池）を「ニューロン」に接続して画像認識するように設計され、加重値はポテンショメータで決定されていた（訓練過程で電気モーターで調整）。パーセプトロンは大きな話題となり、ニューヨーク・タイムズ紙の記事で『（海軍が）期待する電子コンピュータの萠芽は、歩き、話し、見て、書き、自己複製し、自分の存在を意識できるようになるだろう』と紹介された。しかし、マービン・ミンスキーとシーモア・パパートによる1969年の書籍「パーセプトロン：計算機科学への道（英語版）」において、当時の最先端技術（単層パーセプトロン）の欠点として、排他的論理和（XOR）関数を符号化できないことなどが指摘されて以来、パーセプトロンシステムは数十年間も衰退したままであった。この本は当時、有望な研究分野としてのパーセプトロン（および一般的なニューラルネットワーク）を否定するものと考えられていた。
ニューラルネットワークは、「訓練（training)」および「学習（learning）」という過程を経て、さまざまな入力を分類することができるようになる（すなわち個別のカテゴリに区分する）。学習は、まずネットワークの重み（各ニューロンの「活性化」が後続層の特定ニューロンの活性化に影響を与える量）をランダム（無作為）に初期化する。この状態では、ネットワークの出力も同様にランダムとなる。そして、ネットワークの出力がどれだけ望ましいできばえに近いかを定量的に測定する損失関数などの目的関数を定義する（たとえば、手書きの数字からなる入力が、その数字に対応する出力ニューロンのみを活性化させる頻度）。この関数とネットワークのできばえから、重みを調整して性能を改善することができる。
バックプロパゲーションは、1974年のポール・ワーボス（英語版）の学位論文で初めて機械学習システムに適用した教師ありアルゴリズムであり、所与の入出力例に対するネットワーク全体の重みの最適調整を記述するベクトル場である「勾配」の計算を効率化した。この勾配を使用してニューラルネットワークを訓練する勾配降下法によって、より複雑なシステムを構築することが可能となり、1980年代にはニューラルネットワークの自然言語処理への応用が広まることになった。1985年にはD.B. Parkerがワーボスの手法を再発見し、1986年にはラメルハート、ヒントン、ウイリアムスが「深層学習（ディープラーニング）」ネットワークと呼ばれる隠れ層を持つニューラルネットワークで、入力データの内部表現を生成するためにこの手法を応用し、この研究はその後の回帰型ニューラルネットワークの基礎を築いた。
従来の順伝播型ニューラルネットワーク（FFNN）は、各層が前の層からの出力を取り入れ、次の層に送り出すことからその名が付けられた。FFNNの構造には、情報が逆流するような「巡回（cycles）」は存在しない。これに対して、回帰型ニューラルネットワーク（RNN）は、活性化の流れの巡回を少なくとも一つ持っている。RNNネットワークでは、ある項目そのものと、以前の項目を処理したときの出力の両方を使用して一連の項目を処理できるため、順序付いた項目を処理する（および将来の順序項目を予測する）ためによく使用された。
1979年に福島邦彦が哺乳動物の視覚野における神経構造モデルに基づいて提唱したネオコグニトロンは、画像処理で広く使われる畳み込みニューラルネットワーク（CNN）の基礎を築いた。CNNは、大きな入力層に対して小さな層を「重ねて滑らせる」ことで、より少ない計算量でより深い処理を行うことができる。たとえば、100×100の画像には10,000個の画素があり、全結合層で処理するには10,000個の重みが必要だが、画像上をスライドする5×5の「窓」からなる畳み込み層では、わずか25個の学習可能なパラメータでエッジ検出を行うことが可能である。畳み込み層は「プーリング層」によって結合され、「全結合層」（一般的に多層パーセプトロン）によって処理される。
背景 > 自然言語処理のための機械学習

回帰型ニューラルネットワーク（RNN）は、系列的な情報を処理することができるため、多くの自然言語処理（NLP）アプリケーションで利用されている。RNNは、FFNNとは異なり、同じ項目に対して、順序項目の周囲の状況に応じて異なる重みを符号化する（そして異なる出力を与える）ことができる。ということは、一度に一個の単語を解析するRNNシステムでも、「黒い犬（black dog）」は毛むくじゃらの脚、「アメリカンドッグ（corn dog）」はケチャップ、「幻日（sun dog）」は屈折のように、同じ「dog」から異なる連想ができる。さらに、RNNでは、以前の順序項目の情報を再帰的に呼び出すことができるため、ずっと以前に遡って任意の項目を思い出すようにシステムを設計することができる。たとえば、「トムは黒い犬を見た」「トムはアメリカンドッグを見た」「トムは幻日を見た」という順序項目を、それぞれ「優しく」「飢えて」「間接的に」と続けることができるようになる。
しかし、多層型のFFNNとRNNは優れた解を出せる一方で、どちらも勾配消失問題に対して脆弱であることが判明した。勾配は有限精度の数値として符号化され、モデルの全ての層にわたって逆伝播する必要があるため、多数の層を重ねるとゼロに「消滅」、または無限大に「発散」する可能性がある。1995年-1997年にかけて、Sepp HochreiterとJürgen Schmidhuberが初めて提案した長・短期記憶ネットワーク（LSTM）は、「入力」「出力」「忘却」ゲートを持つ複数の個別の「セル」からなる新しいアーキテクチャを導入することによって、この問題を解決しようとした。2009年に、Alex Gravesチームが提出したLSTMに基づくモデルが、手書き文字認識のICDARコンペティションで優勝し、もう一つのモデルは最も正確なモデル、3番目のモデルは最も高速なモデルであった。
RNNやLSTMが抱えるもう一つの問題は、以前の順序項目の文脈しか考慮できないことである。このため、「トムはバイクに乗って店に行き、キックスタンドを下ろしてエンジンを切った」のように、「バイク（自転車）」が「モーターバイク（オートバイ）」であるという必要な文脈が最後でしか明らかにならない文章を解析するときに問題を引き起こすことがある。このような問題を解決する一つが双方向LSTM（bidirectional LSTM）であり、双方向に同時に進行することで、「過去」と「未来」の両方の入力特徴にアクセスすることを可能にする。条件付き確率場（CRF）は、タグを使って入力と出力を直接結びつける。 上記のアプローチの組み合わせた、LSTM-CRFネットワークやBI-LSTM-CRFネットワークもある。その他に、RNNモデルの改良として、ニューラルチューリングマシン（英語版）、適応計算時間（adaptive computation time）、ニューラルプログラマー（neural programmers）、アテンション機構などがあり、最後のものはGPT-2や関連技術の基礎をなしている。
背景 > 選択的集中

2010年代初頭まで、ニューラル機械翻訳で最高の性能を発揮したのは、RNNやLSTMによる「エンコーダネットワーク」が原文をベクトルに符号化し、そのベクトルを同様のアーキテクチャの「デコーダネットワーク」が処理して翻訳出力を得るという「エンコーダ・デコーダ」モデルであった。2014年に、非常に複雑な「アテンション」機構が導入され、これらのモデルの性能は大幅に向上した。アテンション機構は、デコーダネットワークに、テキスト全体を単一ベクトルとして解析するのではなく、原文の特定の側面に適応的に「アテンション（注意）」を集中させる能力を与えた。
その後、2017年には、さらに一歩進んでアテンション機構を使用して、RNN/LSTMアーキテクチャを完全に置き換えた「トランスフォーマー（Transformer）」モデルが導入された。
背景 > 選択的集中 > アテンション機構

→詳細は「アテンション (機械学習)」を参照
エンコーダ・デコーダモデルの制約の一つに、より大きな文章を符号化して固定長のベクトルに圧縮することの難しさがあり、入力が大きくなるにつれて性能が低下することがよく見られた。2014年、Bahdanauらは、「整列と翻訳を共同で行う」ことができるエンコーダ・デコーダモデルの拡張を発表した。Bahdanauモデルのエンコーダ（各方向に1000個の隠れユニットを持つ双方向RNN）は、翻訳された原文の各単語に対して、その文の残り全てを検索して関連する情報の位置を探した。従来のように入力文全体を固定長でベクトル化してデコーダに入力するのではなく、それらの位置と以前に生成したターゲット語を関連付けた「文脈ベクトル」を生成した。そして、デコーダ（これも1000個の隠れユニットを持つ）は、この文脈ベクトルを使用して、どこに「注意」を向けるかを決定した。
「アテンション」機構の探究は、Luongらによる2015年の論文で継続された。Bahdanau論文に基づく「グローバル」アプローチと、原語の部分集合のみを一度に「考慮」する「ローカル」アプローチが試みられ、ローカルアプローチは、アーキテクチャ的にはより複雑だが、計算量が少なく、訓練が容易であった。1秒間に1,000個のターゲット語を翻訳できるように特別に設計された英語-ドイツ語翻訳モデルを完全に訓練するのに7-10日を要した。その精度は、2014年のACL Workshop on Machine Translation（WMT'14）における英語-ドイツ語文ペアのタスクに対するテストで、23.0 BLEUという結果を達成した。これは、以前の試みで達成した最高結果であるBuck et al. 2014によるフレーズベースの言語モデルよりも2.1 BLEU優れていた。
背景 > 選択的集中 > Transformers

→詳細は「Transformer (機械学習モデル)」を参照
アテンション機構は、既存の畳み込み型ニューラルネットワークや回帰型ニューラルネットワークのアーキテクチャを改善するために使うことで性能向上に効果的であったが、すぐに、何も基礎を置かずにアテンション機構単独でも高性能なモデルを構築できることがわかった。
2017年6月、Google Brain（英語版）、Google Research、およびトロント大学の研究者が発表した論文で、Transformerアーキテクチャが初めて紹介された。Transformerは、畳み込みや回帰を完全に捨て去り、アテンション機構のみに基づいたモデルの一種である。従来のRNNに基づくモデルと異なり、Transformerは、系列的に入力される各項目について順番に計算することなく処理できるため、大規模な並列化が可能であることを意味した。WMT'14フランス語-英語タスクでは、Transformerアーキテクチャを使用して特別に訓練したフランス語-英語翻訳モデルが、41.8 BLEUという新しい単一モデルのベンチマークを達成することができた。Transformerは、導入以来、多くの自然言語処理（NLP）アプリケーションで使用されている。
Generative Pre-trained Transformer

|  | アーキテクチャ | パラメータ数 | 訓練用データ |
| --- | --- | --- | --- |
| GPT-1 | 12層、12ヘッドのTransformerデコーダ（エンコーダなし）、次いで線形softmax | 1.2億 | BookCorpus: 4.5 GBのテキスト、さまざまなジャンルの未発表小説7000冊分 |
| GPT-2 | GPT-1 変種 | 15億 | WebTextコーパス (40 GB) |
| GPT-3 | GPT-2, ただしスケーリングが大きく変更された | 1750億 | 570 GBの平文、4,000億のトークン。主にCommonCrawl、WebText、英語版Wikipedia、2つの書籍コーパス（Books1、Books2） |
2018年6月11日、OpenAIは「Improving Language Understanding by Generative Pre-Training」（生成的事前学習による言語理解の向上）と題する論文を発表し、その中で「Generative Pre-trained Transformer（GPT）」と呼ぶNLPモデルを紹介した。この当時、最高性能を発揮するニューラルNLPモデルでは、主に手作業でラベル付けされた大量のデータを用いて、教師あり学習を採用していた。こうした教師あり学習への依存によって、ラベル付けが十分でないデータセットでの利用は制限を受け、さらに非常に大規模なモデルを訓練するには非常に高価かつ時間もかかっていた。スワヒリ語やハイチ・クレオール語などの多くの言語は、コーパス構築のためのテキストが不足しているため、このようなモデルを用いて翻訳や通訳することは困難であった。これに対して、GPTの「半教師付き」アプローチは、言語モデリングの目的に基づいて初期パラメータを設定する教師なし生成的「事前学習」段階と、これらのパラメータを標的タスクに適応させる教師あり識別的「微調整」段階の2段階に分けて行われた。
アテンション強化RNNを含む従来の技術とは異なり、Transformerアーキテクチャを用いたGPTには、より構造化された記憶が備わり、それによって「多様なタスクに対応できる頑健な転移性能」が実現された。
転移時には、トラバース形式の手法から派生したタスク固有の入力適応を利用し、構造化テキストの入力を単一の連続したトークン列として処理する。
Generative Pre-trained Transformer > コーパス

教師なし事前学習は、さまざまなジャンルに属する7,000冊以上の未発表小説のデータセット「BooksCorpus」を用いて行われた。このデータセットが選ばれた理由の一つは、長距離の情報を処理するためのモデルの条件として、連続した長い文章が求められたことにある。利用可能な他のデータセットは、規模は大きくても、このような長範囲的な構造がない（文レベルで「入れ替え」られている）ことを理由に却下された。BooksCorpusのテキストをクリーニング（句読点や空白の標準化）するためにftfyライブラリが、トークン化ではspaCyが使われた。
Generative Pre-trained Transformer > アーキテクチャ

GPTのアーキテクチャ自体は、12層のデコーダのみのTransformerで、それぞれ64次元の状態を持つ12個のマスク付き自己アテンション・ヘッド（合計768個）を使用した。単純な確率的勾配降下法ではなく、Adam最適化アルゴリズムが使用された。学習率は、最初の2,000回の更新では、0から最大2.5×10−4まで線形に増加し、コサインスケジュールによって0までアニリーングされた。
512個の連続したトークンからなるランダムにサンプリングした64個のミニバッチの訓練を100エポック行う。レイヤーノルムはモデル全体で広く用われているため、N(0,0.02)の単純な重みの初期化で十分であった。40,000個のバイト対符号化（BPE）語彙のマージと、正則化には残差、埋め込み、アテンションのドロップアウトを比率0.1で行った。また、Loshchilov et al. 2017で提案されたL2正則化の修正版を採用し、すべての非バイアスウェイトやゲインウェイトはw=0.01とした。
(中略)

原著で提案された正弦波バージョンの代わりに学習された位置埋め込みを使用した。

　(中略)
特に指定がない限り、教師なし事前学習でのハイパーパラメータ設定を再利用する。分類器にはドロップアウトを比率0.1で追加する。ほとんどのタスクでは、学習速度6.25e-5、バッチサイズ32を使用する。このモデルは高速に微調整され、ほとんどの場合は3エポックの訓練で十分であった。学習率は線形減衰スケジュールを用い、ウォームアップは訓練の0.2%以上とした。λは0.5とした。
GPTは、微調整の段階で特定のタスクに適応させたが、事前学習の段階はそうしなかった。さまざまなタスクを実行するために、タスクに依存しない基礎となるモデルアーキテクチャに最小限の変更が加えられた。それにもかかわらず、GPTはいくつかの言語処理タスクにおいて過去のベンチマークを上回り、多くの多様なタスクにおいて、タスク指向のアーキテクチャを持つ識別的に訓練されたモデルより優れていた。
Generative Pre-trained Transformer > 性能

自然言語推論（テキスト含意推論（英語版）（textual entailment）とも呼ばれる）タスクでは、モデルの評価は、さまざまなデータセットに含まれる文の対を解釈し、それらの関係を「含意」「矛盾」「中立」に分類する能力に基づいて行われる。たとえば、QNLI（Wikipediaの記事）やMultiNLI（速記、大衆小説、政府報告など）といった情報源に対して、GPTは従来の最高値からそれぞれ5.8%、1.5%優れていた。同様に、質問応答や常識推論（英語版）に関連する2つのタスクでも、RACE（中学校と高校の筆記試験の問題と解答の組からなるデータセット）で5.7%、クローズ・テスト（英語版）で8.9%、従来のモデルをそれぞれ上回った。
もう一つの意味的類似性（または言い換え検出）のタスクでは、2つの文が互いに言い換えであるかどうかをモデルが予測できるかどうかを評価するもので、Quora Question Pairs（QQP）データセットで、GPTは従来の最高性能モデルよりも4.2%向上した。また、Corpus of Linguistic Acceptability（CoLA）を用いたテキスト分類タスクでは、従来の最高スコア35.0に対してGPTはスコア45.4を達成した。最後に、マルチタスクテストのGLUEで、GPTは総合スコア72.8（従来は68.9）を達成した。
GPT-2

GPT-2はGPTのスケールアップ版として作成され、パラメータ数とデータセットサイズをいずれも10倍にしている。双方とも教師なしのTransformerモデルで、一連のトークンの並びから次の単語を予測してテキストを生成するように訓練された。GPT-2モデルは15億のパラメータを持ち、800万のウェブページのデータセットで訓練が行われた。GPT-2は、テキストサンプル中の一連の単語を解釈し、最も可能性の高い次の単語を予測するという非常に単純な基準で強化され、追加される単語を予測し続けることで完全な文や段落を生成し、自然言語で完全に理解できる（そして意味論的に意味を持つ）文を生成する。特に、GPT-2は、ゼロショット設定（英語版）でのタスクに対する性能で評価された。
GPT-2 > データセット

GPT-2は新規に開発された WebText コーパスをデータセットとして利用している。
GPT-2 > データセット > WebTextコーパス

WebText コーパスは約800万のウェブページから抽出された高品質自然言語テキストコーパスである。
GPT-2はゼロショット推論可能な基盤モデルを意図して開発された。個別タスクを明示的に学習せずゼロショットで推論するには、学習用テキスト内に様々なタスクの具体例が（タスクラベル無しで）含まれている必要があると考えられる。一方で質の低いテキストはモデルの精度を落とすため、コモン・クロールのような無作為収集されたコーパスは利用できない。これらの問題を解決するためにGPT-2論文で開発されたコーパスが WebText コーパスである。
WebText は人間によるキュレーションを品質向上に利用している。まずRedditで3回以上賛成票を受けたリンク先ウェブページを一定品質のテキストとみなし、重複文章の除去・Wikipedia記事の削除・ヒューリスティックによるクリーニングを経て、最終的に約800万のウェブページから抽出された約40GBの自然言語テキストをWebTextとしている。
GPT-2 > モデル

GPT-2のモデルアーキテクチャはGPT-1のマイナーチェンジ版である。アーキテクチャ上の変更点は以下の通り：
Post LN → Pre LN
最終アテンションブロック後の追加LN
残差レイヤーの深度  1/{\sqrt {N}} 重み付け初期化
アーキテクチャはほぼ同一であるが、GPT-2はGPT-1より大きなモデルとなっている。モデル上の変更点は以下の通り：
モデルパラメータサイズ: 15億（約13倍）
ボキャブラリ: 50,257
コンテキストトークン長: 512→1024
GPT-2 > 訓練

モデルと同じく学習もスケールされており、バッチサイズは512に変更されている。
GPT-2の訓練費用は1時間あたり256ドルであることが知られているが、訓練に要した総時間は不明なため、訓練費用の総額を正確に見積もることはできない。しかし、Transformerアーキテクチャを用いた同等の大規模言語モデルでの費用はより詳細に記述されており、BERTとXLNetの訓練過程では、それぞれ6,912ドルと245,000ドルの資源を消費した。
GPT-2 > 性能

GPT-2は、そのデータセットとアプローチの広さによって、単純なテキスト生成にとどまらない幅広いタスクに対応できるようになった。質問に答えたり、長文を要約したり、さまざまな特定領域（英語版）で言語間の翻訳をしたり、一連の単語の次の予測方法以上のことは何も指示されずに実行できる。
一般化学習の一例は、フランス語-英語間の機械翻訳をするGPT-2の能力であり、そのために、WMT-14の翻訳タスクを使用してGPT-2の性能が評価された。GPT-2の訓練用コーパスには、フランス語のテキストはほとんど含まれていなかった。訓練前にデータセットのクリーニングで英語以外のテキストを意図的に削除したため、得られた40,000 MBのうちモデルが訓練に使用できたフランス語は10 MBにすぎなかった（ほとんどは英語の投稿や記事に含まれた外国語の引用）。それでもGPT-2は、WMT-14の英語-フランス語間テストセットで5 BLEUを達成した（単語単位での置換による翻訳をわずかに下回るスコア）。また、フランス語から英語へのテストセットでGPT-2は、当時（2017年）の教師なし機械翻訳ベースラインを上回って、11.5 BLEUを達成した。これは、33.5 BLEUを達成した当時（2019年）最も高性能な教師なし手法を下回るものだった。しかし、他のモデルは、この結果を達成するために大量のフランス語テキストを使用しており、一方のGPT-2は、同等の手法の約1/500のサイズの単一言語フランス語コーパスを使用したと推定された。
公開

GPT-2は、2019年2月14日に初めて発表された。2019年2月のThe Vergeに掲載されたJames Vincentによる記事では、『（このプログラムが）作り出す文章は、通常、人間ではないと容易に判別できる』ものの、言語生成プログラムの『これまでで、もっともわくわくする例の一つ』であることに変わりはないと述べている。
偽の見出しを付けると、あとは偽の引用や統計を交えた残りを書いてくれる。短編小説の最初の行を入力すると、登場人物に次に何が起こるか教えてくれる。適切なプロンプト（命令）を入力すれば、ファン・フィクションだって書ける。
ガーディアン紙はこの出力を『もっともらしい新聞の散文』と表現し、VoxのKelsey Piperは『私がこれまで見た中で最もクールなAIシステムの一つは、私を失業に追い込むものかもしれない』と述べている。GPT-2の柔軟性は、The Vergeによれば『印象的』と評され、具体的には、言語間でのテキスト翻訳、長文の記事の要約、雑学的な質問へ回答などの能力が注目された。
修正チューリングテストを用いたアムステルダム大学の研究では、少なくともいくつかのシナリオで、参加者はGPT-2が生成した詩と人間が書いた詩を見分けられないことが分かった。
公開 > 制限と部分公開

これまでOpenAIのモデルはすぐに一般公開されていたが、2019年2月の発表では、悪用される危険性があるとして、GPT-2のソースコードの公開を当初拒否していた。発表時には、一部の報道関係者にのみ、モデルへの制限付きアクセス（ソースコード自体ではなく、入力でき、出力を提供するインターフェース）が許可された。よく言われるのは、生成されたテキストは通常まったく新しいものなので、スパマー（英語版）が自動フィルターを回避するために悪用する可能性があるという正当化の理由である。OpenAIは、GPT-2を微調整して『肯定的または否定的な製品レビューを永遠に生成する』バージョンを実演した。もう一つの問題は、GPT-2を使用すると、わいせつあるいは人種差別的なテキストが生成される可能性があることである。ジェレミー・ハワードなどの研究者は、『この技術は、Twitterや電子メール、そしてウェブを、合理的な響きを持って文脈に沿った散文で完全に埋め尽し、他のすべての発言をかき消すようなものであり、フィルタリングは不可能になる』と警告した。アレン人工知能研究所（英語版）は、GPT-2に呼応して「ニューラルフェイクニュース」を検出するツールを発表した。
しかし、意見は分かれた。2019年2月のThe Vergeの記事は、GPT-2がもたらす脅威は誇張されていると論じ、カリフォルニア工科大学の教授でNvidiaの機械学習研究ディレクターであるAnima Anandkumarは、OpenAIが言うような脅威をもたらす能力がGPT-2にあるという証拠はなく、彼らがしたことは『オープンとは正反対』だと述べ、完全モデルの公開を拒否したことを「悪意のあるたわごと（英語版）」とみなした。The Gradient紙は、OpenAIに対してモデルの公開を促す公開書簡を発表し、テキスト生成AIがもたらす脅威を印刷機のそれと比較し、『混乱をもたらす可能性があったにものの、（幸いにも）現代社会を破壊しなかった技術』としてPhotoshopを例に挙げた。
30年後、Photoshopは高校生が使えるほど簡単で、動詞として広く使われているにもかかわらず、社会は比較的無事ですんでいる。なぜか？それは、誰もがPhotoshopを知っているからこそである。
公開 > 774M公開

OpenAIは、完全な学習済みモデルや、訓練用コーパスを公開しなかったが、過去の出版物におけるその手法の説明（および基礎となる技術の無償での入手性）により、GPT-2は自由ソフトウェアとして他者が複製することが可能であった。そのような複製の一つ、OpenGPT-2は、OpenWebTextと呼ばれる自由ライセンス版のWebTextと組み合わせて2019年8月に公開された。OpenGPT-2のクラウドコンピューティング費用は約50,000ドルと提示された。
2019年8月20日、OpenAIは、7億7,400万のパラメータ（15億パラメータの完全モデルの約半分の規模）を持つGPT-2の縮小版を公開した。
公開 > 完全版1.5B公開

しかし、GPT-2が広範な悪用につながるのではないかという当初の懸念は、現実のものとならなかった。The Vergeは、『AI技術がある種の「情報世紀末（infopocalypse）」をもたらすという主張には懐疑的な理由がある。まず第一に、わずかなコストでもっともらしい文章を大量に生成できるプログラム、すなわち人間が既に存在している。』 と述べている。2019年11月までに、OpenAIは『これまでのところ悪用された強い証拠は見られない』と述べ、2019年11月5日に15億のパラメータを持つ完全版を公開した。
限界

GPT-2の自然言語テキストの生成能力は、おおむね高く評価されているが、特に段落数が2段を超える長いテキストを生成する場合には、その欠点も指摘されている。Voxは『散文はかなり大まかで、ときおり非合理的なこともあり、記事が長くなればなるほど一貫性が失われる』と述べている。The Vergeも同様に、GPT-2の文章は長いサンプルになると『話題がそれる』傾向があり、首尾一貫性に欠けると指摘した。The Register（英語版）は、『それを読んだ人間は、しばらくすると、何かが起きていることに気づくはずだ』と評し、『GPT-2は、情報を抽出し取りだすためにアルゴリズムに依存する他のシステムと同様、質問には答えていない』と述べている。
GPT-2を導入するには多くの資源が必要で、完全版モデルの大きさは5ギガバイトを超えるため、アプリケーションにローカルに組み込むことが難しく、また大量のメモリー（RAM）を消費する。また、1回の予測を行うと『CPUを100%の使用率で数分間占有することがある』ほか、GPU処理でも『1回の予測に数秒かかることがある』。これらの問題を軽減するために、Hugging Faceは、知識蒸留を使用して、『いくつかの品質ベンチマークで数ポイント低い』ものの、『33%小さく、2倍速い』という小型モデルを作成するDistilGPT2を開発した。
実装とその後の研究

ジャーナリストによって報じられたGPT-2の応用として、ニュース記事などの文章を人間が書くことを補助するなどが挙げられている。GPT-2は、製品版の公開以前から、さまざまなアプリケーションやサービス、それにエンターテインメントに利用されていた。2019年6月にはRedditサイト内に、r/SubSimulatorGPT2というコミュニティ（サブレディット）が作られ、さまざまなサブレディットで訓練したGPT-2の実例（インスタンス）が投稿し、互いのコメントに返信することで『r/Bitcoinが擬人化したAIと、r/ShittyFoodPornの機械学習に由来する霊が議論する』状況が作られた。同年7月までに、GPT-2に基づいて、さまざまなプログラミング言語のコード行を自動補完するソフトウェアが公開され、ユーザーから「ゲームチェンジャー（トレンドを変えるできごと）」と評された。
2019年には、GPT-2を利用し、ユーザーの入力に基づいて動的なテキストアドベンチャーを提供するAI Dungeon（英語版）が発表された。2021年現在、AI Dungeonは、オプションの有料アップグレードとしてGPT-3の最大リリースAPIへのアクセスを提供し、無料版ではGPT-3の2番目に大きなリリースを使用した。AI Dungeonを中心に設立されたLatitudeは、2021年に開業資金（英語版）330万ドルを調達した。いくつかのウェブサイトでは、GPT-2やその他のTransformerモデルのさまざまなインスタンスの対話的なデモンストレーションを公開している。
2021年2月、問題を抱えたティーンエージャー向けの危機管理センターが、カウンセラーが十代の模擬患者と会話をしてトレーニングするために、GPT-2由来のチャットボットの使用を始めると発表した（この使用は純粋に内部目的であり、GPT-2はティーンエージャー自身と交信しなかった）。
GPTモデルの模式図
GPT-2が作成した、2020年の米国大統領選挙に勝利した後のエドワード・スノーデンの行動に関する架空のニュース記事。強調表示されたテキストはすべて機械が生成したものである。スノーデンは（生成時点で）公職に選出されたことはなかったが、生成されたサンプルは文法的にも文体的にも妥当なものである。
「Skub」は実在する製品ではないが、DistilGPT2で使用されている縮小サイズのモデルでさえ、賛成と反対の両側からもっともらしい議論を作り出すことができる。
GPT-2は、さまざまなシナリオに対してテーマに沿ったテキストを生成することができる。たとえば、ドナルド・トランプがアニメ キャラクターの惣流・アスカ・ラングレーを賞賛する演説をしたというCNNの記事のような非現実的なものでさえ生成することができる。ここでは、1.5Bの完全モデルであっても、第2段落では文法の劣化が始まり、最終的には意味不明な一文が何度も繰り返される出力など、出力が長くなるにつれて無意味で反復的なテキストを生成する傾向が見られる。
津軽海峡フェリー

| --- | --- |
種類:  株式会社
本社所在地:   日本 〒041-0821 北海道函館市港町3-19-2 津軽海峡フェリー函館事務所棟
設立:  1972年2月23日
業種:  海運業
法人番号:  7440001001368 
事業内容:  海上・陸上運送業及びその代理業、船舶貸渡業、船舶管理業
代表者:  村上玉樹（代表取締役会長） 柏木隆久（代表取締役社長）
資本金:  2,000万円
売上高:  103億円 （2016年12月期）
純利益:  7億1,265万円 （2023年12月期）
総資産:  147億4,057万6,000円 （2023年12月期）
従業員数:  407名
主要株主:  ブルーオーシャン
主要子会社:  ネクスト
外部リンク:  https://www.tsugarukaikyo.co.jp/
特記事項：2009年11月1日社名変更。
テンプレートを表示
旅客航路
津軽海峡フェリー株式会社（つがるかいきょうフェリー）は、北海道函館市に本社を置く日本の海運会社。
概要

天塩町で創業し函館を拠点に木材・石炭輸送を行っていた「吉野谷海運」を経営する吉野谷義徳が中心となり、吉野谷と戦前に樺太航路で競合し交友のあった蔦井與三吉が経営する東日本フェリーとの共同出資で、東日本フェリーの内航船事業の近代化や吉野谷海運の貨物船「歓栄丸」の更新、トラック航送事業による体質改善を目的として1972年に東日本フェリーグループの「道南自動車フェリー」として創立。函館 - 青森間の自動車航走貨物定期航路事業を展開し、その後2000年10月の海上運送法の改正により一般旅客定期航路の許可を得て旅客航路事業も開始した。
2008年に東日本フェリーの事業不振に伴うグループ内の事業再編に伴い、同社が最後まで運航していた3航路の譲渡が検討された。しかし、道南自動車フェリーが従来から運航する函館 - 青森航路以外の2航路（函館 - 大間航路、青森 - 室蘭航路）については航路の維持にあたり、採算性の点から地元自治体の支援措置を待つ形となった。
2008年9月8日、燃料費の高騰や利用者の伸び悩みにより同年11月末で北海道と青森を結ぶ航路から撤退する東日本フェリーの函館 - 青森航路と、2隻の船舶（びなす・びるご）を継承する計画を発表するとともに、道南自動車フェリーは東日本フェリーの親会社であるリベラホールディングスの傘下に入った。また、同じく撤退航路のうち採算性の問題などから地元自治体の支援措置が模索されていた函館 - 大間航路については同年10月14日、2009年1月から青森県と大間町が支援し1年間の暫定運航とすることで青森県と大間町、東日本フェリー、道南自動車フェリーの4者が合意したことが発表されている。10月17日、同年12月以降の運航については、函館 - 青森航路の増便（継承前の2倍にあたる1日16便）と運賃改定を、函館 - 大間航路は改めて航路の新規開設を行うことが発表された。なお、同じく東日本フェリーが撤退する青森 - 室蘭航路は地元自治体の支援が得られず廃止が表明された。
2008年12月1日、従来から運航していた函館 - 青森航路と函館 - 大間航路の運営を東日本フェリーより継承。2009年3月1日には、運航する2航路に「津軽海峡フェリー」の愛称を導入。2009年11月1日、船舶貸渡業「東日本フェリー」と船舶管理業「東日本シップマネージメント」の2社を吸収合併し、同時に社名を案内名称と同じ「津軽海峡フェリー」に変更した。
なお、イルカのロゴマークは、東日本フェリー時代のものをそのまま引き継いでいる。
沿革

※航路承継前の歴史については、東日本フェリー#沿革も参照。
1972年（昭和47年）
2月23日 - 道南自動車フェリー株式会社として設立。
4月27日 - 函館 - 青森間航路免許取得。
8月24日 - 函館 - 青森航路開業。「恵山丸」を用い函館と青森を結ぶ貨物フェリー航路を運航する。
1979年（昭和54年）-「第三恵山丸」が就航。
1985年（昭和60年）-「第五恵山丸」が就航。
1988年（昭和63年）-「えさん」が就航。
2000年（平成12年）10月 -「えさん2000」が就航、旅客航路事業に参入。
2008年（平成20年）
11月20日 - 東日本フェリーから引き継ぐ函館 - 青森・函館 - 大間航路の運航が認可される。
12月1日 - 東日本フェリーが運航していた函館 - 青森航路を譲受し、函館 - 大間航路を開設。同社から「びなす」「びるご」「ばあゆ」を譲受し就航する。
2009年（平成21年）
3月1日 - 運航する航路の通称として「津軽海峡フェリー」の名称を使用する。
11月1日 - 東日本フェリーおよび東日本シップマネージメントを吸収合併。社名を津軽海峡フェリー株式会社に変更する。
2010年（平成22年）7月17日 -「ブルードルフィン」が就航。
2013年（平成25年）
4月12日 - 大間港新フェリーターミナルが竣工。
4月18日 - 「大函丸」が就航する。
2014年（平成26年）
4月16日 - 「ブルーマーメイド」が就航する。
9月 - 東日本フェリーが室蘭港から撤退する際に発生した室蘭市への岸壁使用料違約金4億8千万円余を完済。
2016年（平成28年）
3月11日 -「ナッチャンWorld」を防衛省の特別目的会社「高速マリン・トランスポート」に移管。
10月11日 - 二代目「ブルードルフィン」が就航する。
2017年（平成29年）
2月2日 -「ブルードルフィン2」（旧・初代ブルードルフィン）が就航。「えさん2000」が引退し、東日本フェリー譲受前からの船舶を全廃。
3月11日 - 新造船「ブルーハピネス」就航。
12月15日 - 船内無料Wi-Fi「津軽海峡FREE Wi-Fi」の提供を開始。
2018年（平成30年）2月11日 -「ナッチャンWorld」が観光船として一般向け運航を再開。
2019年（令和元年）12月1日 - 函館・青森港の無人ゲート「スマートチェックイン」施設をリニューアル。契約貨物車と当日予約者への対応を開始。
2020年（令和2年）
5月22日 -「ブルードルフィン2」が引退。東日本フェリー時代からの船舶を全廃。
6月9日 -「ブルールミナス」が就航する。
2023年（令和5年）
2月1日 - 室蘭港 - 青森港航路開設を発表。
10月2日 - 室蘭 - 青森航路就航、前身の旧東日本フェリーの撤退以来15年ぶりの航路再開となる。
船舶 > 過去に運航していた船舶

※航路継承前に東日本フェリーで運航され引退した船舶については、東日本フェリー#船舶を参照。
恵山丸
第三恵山丸
第五恵山丸
ばにあ（VANIR、函館 - 青森航路に就航。船籍港：函館）
えさん（Esan、函館 - 青森航路に就航、船籍港：函館）
ばあゆ（VAYU、函館 - 大間航路に就航、船籍港：函館）
びるご（2代目）（VIRGO、函館 - 青森航路に就航、船籍港：函館）
ナッチャンWorld（Natchan World、函館 - 青森航路に就航、船籍港：青森）
えさん2000（Esan2000、函館 - 青森航路に就航、船籍港：函館）
びなす（2代目）（VENUS、函館 - 青森航路に就航、船籍港：室蘭）
ブルードルフィン（初代）→ブルードルフィン2（Blue Dolphin/Blue Dolphin 2、函館 - 青森航路、船籍港：青森）
本社・事業所

本社・函館支店 - 北海道函館市港町3-19-2（津軽海峡フェリー函館港フェリーターミナル事務所棟内）
青森支店 - 青森県青森市沖館2-12-1 （津軽海峡フェリー青森港フェリーターミナル内）
大間支店 - 青森県下北郡大間町大字大間字根田内10番地
室蘭支店 - 北海道室蘭市入江町1-50（室蘭港フェリーターミナル内）
札幌営業所 - 北海道北広島市大曲工業団地5-3-2 3F（ネクスト本社ビル内）
青森営業所 - 青森県青森市長島2-10-4 ヤマウビル1F
東京営業所 - 東京都千代田区霞が関3-2-5 霞が関ビルディング31F
映画

『風が通り抜ける道』（田中壱征監督作品）沖縄県後援、カンヌ国際映画祭2023年 披露上映作品、沖縄国際映画祭2023年 正式出品作品、一般劇場公開2024年（イオンエンターテイメント）
広報・宣伝

北海道放送（HBCテレビ）の日曜13:54 - 14:00・木曜22:54 - 23:00枠天気予報でスポンサーを務めている。
かつては、ラジオ番組『サタデー夢ラジオ』（青森放送）内における「交通情報」（9時20分頃から放送）内で、空席情報を告知していた。
他の公共交通機関との接続 > 高速バス

高速バスと函館 - 青森航路のセット割引切符として、以下の切符を設定している。
津軽海峡物語（札幌駅前バスターミナル - 青森港フェリーターミナル）
盛岡・函館きっぷ（函館港フェリーターミナル - 盛岡駅西口）
東京・函館きっぷ（函館港フェリーターミナル - 東京駅前/上野駅前）
東京フェリっと函館（函館港フェリーターミナル - さいたま新都心駅/バスタ新宿/東京ディズニーシー）
津軽海峡物語
北海道中央バス・北都交通・函館バス「高速はこだて号」（札幌駅前バスターミナル - JR函館駅前）
函館帝産バス「津軽海峡フェリーシャトルバス」（JR函館駅前 - 函館港フェリーターミナル）
盛岡・函館きっぷ：弘南バス・岩手県北自動車「あすなろ号」（青森港フェリーターミナル - 盛岡駅西口）
東京・函館きっぷ
弘南バス「津輕号」（青森港フェリーターミナル - バスタ新宿・東京駅）
弘南バス「パンダ号」（青森港フェリーターミナル - 上野駅）
東京フェリっと函館：南部バス「MEX青森」（青森港フェリーターミナル - さいたま新都心バスターミナル・バスタ新宿・東京ディズニーシーバスターミナルサウス）
他の公共交通機関との接続 > 鉄道

青い森鉄道線八戸駅・三沢駅・野辺地駅・浅虫温泉駅の各駅から青森駅間の青い森鉄道線乗車券と津軽海峡フェリー乗船券がセットになった「海峡ゆったどきっぷ」を設定している。
発売は青い森鉄道の駅では利用日の1か月前からだが、函館の津軽海峡フェリー窓口では利用当日のみとなる。また、青森駅⇔青森港フェリー埠頭間のバス等の運賃・料金は含まない。
他の公共交通機関との接続 > 過去の設定

まさかり海遊きっぷ - 函館-大間航路とシィライン佐井-青森航路の各片道券と下北交通バスむつバスターミナル-佐井間3日間フリーパスをセットとした割引切符。2021年から毎年4月-10月に設定、シィラインの航路廃止に伴い2022年度をもって終了。
手前：スマートチェックインゲート
右奥：函館フェリーターミナル
大函丸(２代目) - 大間港
ブルーマーメイド - 青森港
ブルードルフィン（2代目） - 青森港
ブルールミナス  -  青森港
ナッチャンWorld - 青森港
ばあゆ
びなす（2代目） - 青森港
ブルードルフィン（初代） - 青森港
深山靖宙

| みやま やすひろ深山 靖宙 |
| --- | --- |
別名義:  ぷよん
職業:  漫画家
ジャンル:  コミカライズ、成人向け漫画
公式サイト:  P=n+G
テンプレートを表示
深山 靖宙（みやま やすひろ）は、日本の漫画家。別名義に「ぷよん」。
略歴

2006年、雑誌『電撃萌王』にてライトノベル『乃木坂春香の秘密』のコミカライズを手掛け、名を広める。
2008年から2009年、ぷよん名義で成人向け漫画雑誌『コミックホットミルク』にて『ナニみてはねる?』を不定期連載。
2011年から『電撃G's magazine』にて『Baby Princess』のコミカライズを手掛ける。
2013年から『月刊コンプエース』にて『艦隊これくしょん -艦これ-』のコミカライズを手掛ける。
2017年から『電撃G'sコミック』にて『魔法使いの印刷所』を連載。
2022年から『FLOS COMIC』にて『盲目の織姫は後宮で皇帝との恋を紡ぐ』を連載。
作品リスト > 一般向け

いずれも深山靖宙名義。
『乃木坂春香の秘密』メディアワークス〈電撃コミックス〉全4巻（原作：五十嵐雄策、キャラクターデザイン：しゃあ、『電撃萌王』2006年10月号 - 2010年8月号）
『Baby Princess』アスキー・メディアワークス〈電撃コミックス〉全3巻（原作：公野櫻子、キャラクターデザイン：みぶなつき、『電撃G's magazine』2011年5月号 - 2013年8月号）
『艦隊これくしょん -艦これ- 水雷戦隊クロニクル』KADOKAWA〈角川コミックス・エース〉全3巻（原作：角川ゲームス、『月刊コンプエース』2014年1月号 - 2016年11月号）
『魔法使いの印刷所』KADOKAWA〈電撃コミックスNEXT〉全6巻（原作：もちんち、『電撃G'sコミック』2017年11月号 - 『ComicWalker』2021年4月30日）
2018年5月26日発売、ISBN 978-4-04893-895-2
2018年11月24日発売、ISBN 978-4-04912-186-5
2019年8月26日発売、ISBN 978-4-04912-699-0
2020年3月27日発売、ISBN 978-4-04913-098-0
2020年11月27日発売、ISBN 978-4-04913-543-5
2021年8月27日発売、ISBN 978-4-04913-908-2
『盲目の織姫は後宮で皇帝との恋を紡ぐ』KADOKAWA〈FLOScomic〉既刊4巻（原作：小早川真寛、『FLOS COMIC』2022年9月2日）
2023年1月16日発売、ISBN 978-4-04-681020-5
2023年9月14日発売、ISBN 978-4-04-682742-5
2024年5月17日発売、ISBN 978-4-04-683558-1
2025年1月17日発売、ISBN 978-4-04-684129-2
作品リスト > 成人向け

ナニみてはねる？（『コミックホットミルク』Vol.1 - ） - ぷよん名義、未単行本化。
外部サイト

P=n+G
| 典拠管理データベース  |
| --- | --- |
全般:  VIAF 
国立図書館:  日本  韓国
渡瀬村 (埼玉県)

| わたらせむら 渡瀬村 |
| --- | --- |
廃止日:  1957年5月3日
廃止理由:  編入合併 児玉郡渡瀬村 → 神川村
現在の自治体:  神川町
廃止時点のデータ
国:   日本
地方:  関東地方
都道府県:  埼玉県
郡:  児玉郡
市町村コード:  なし（導入前に廃止）
総人口:  1,892人 （国勢調査、1955年）
隣接自治体:  埼玉県：児玉郡神川村、神泉村、児玉町 群馬県：多野郡鬼石町
渡瀬村役場
所在地:  埼玉県児玉郡渡瀬村
座標:  北緯36度09分59秒 東経139度03分37秒﻿ / ﻿北緯36.16639度 東経139.06036度﻿ / 36.16639; 139.06036﻿ (渡瀬村)座標: 北緯36度09分59秒 東経139度03分37秒﻿ / ﻿北緯36.16639度 東経139.06036度﻿ / 36.16639; 139.06036﻿ (渡瀬村)
ウィキプロジェクト
テンプレートを表示
渡瀬村（わたらせむら）は埼玉県の北西部、児玉郡に属していた村。
地理

河川：神流川
歴史

1889年（明治22年）4月1日 町村制施行により、上阿久原村、下阿久原村、渡瀬村が合併し児玉郡若泉村が成立する。
1949年（昭和24年）12月1日 若泉村が南北に分割、南部に阿久原村、北部に渡瀬村が成立する。
1957年（昭和32年）5月3日 神川村へ編入する。
著名な出身者

原善三郎
巨人の肩の上

ギリシア神話の盲目の巨人オーリーオーンとその肩に付き従う奴隷ケーダリオーン （プッサン、1658年）
「巨人の肩の上にのる矮人」（きょじんのかたのうえにのるわいじん、ラテン語: nani gigantum umeris insidentes ）という言葉は、西洋のメタファーであり、現代の解釈では、先人の積み重ねた発見に基づいて何かを発見することを指す。「巨人の肩の上に立つ」、「巨人の肩に座る」、「巨人の肩に登る」、「巨人の肩に乗る小人」、「巨人の肩に立つ侏儒」などの形でも使われる。科学者アイザック・ニュートンが1676年にロバート・フックに宛てた書簡の以下の一節で知られるようになった。
私がかなたを見渡せたのだとしたら、それは巨人の肩の上に立っていたからです。（英語: If I have seen further it is by standing on yᵉ sholders of Giants.）
このニュートンの手紙が原典と見なされることも多いが、最初に用いたのは12世紀のフランスの哲学者、シャルトルのベルナールとされる。