stanford-oval/wikipedia huggingface dataset:
東インドへの航海
内容

東インド貿易を切り開くために、ロンドン貿易商らによって七万二千ポンドの資金が集められ、船と雑貨が整えられた。エリザベス女王お墨付きの貿易商もいたため、エリザベスは彼らに和親修好の盟約を求め、親書を与え、船団長ランカスターには船団の軍律施行権を認めている。
ランカスターはテムズ川のウリッジを出発後、カナリア諸島、ブランコ岬、ヴェルデ岬諸島、南米最東端のアウグスチン岬、そして南アフリカのサルダニア湾（英語版）（テーブル湾（英語版））を経由している。途中、ポルトガル船を襲撃し、積み荷を略奪している。また、凪や逆風に見舞われ、赤道北側で長い時間を費やすこととなり、多くの乗組員が壊血病で死亡している。尚、ランカスター自らが船長を務めるドラゴン号は、彼が用意したレモン汁によって壊血病を防いでいる。サルダニア湾へ寄港したのは、病人の回復のためであった。ここを再び出港する際には、乗組員の体調は回復していたが、この時既に全船で105人失くしている。
1601年10月29日にサルダニア湾を出港、聖ローレンス島（マダガスカル島）、マダガスカル島東のセント・メリー島とアントンジル湾（英語版）、ログピズ島、チャゴス諸島、スリランカ東方、スマトラ西北方のニコバル諸島、ニコバル北方のソンブレロ島を経由している。
途中再び壊血病に船が見舞われ、レモンとオレンジの買い入れのため、セント・メリー島に立ち寄っている。彼らは島に住んでいた先住民についての観察記を残している。その後、アントンジル湾で、オランダ人が岩に刻んだ文字を発見している。後続船のため船の到着・出発の日付を岩に刻むことは、当時よく行われていたことだった（ここにいうオランダ船とはヤコブ・ファン・ヘームスケルク（英語版）とウォルブヘルト・ハルメンス（オランダ語版）率いる13隻のうちの一部である）。
マダガスカル島滞留中、副船長の一人ウィリアム・ウィンター含め10名以上が死亡している。この高級船員の埋葬中、礼砲がアセンション号の船長ウィリアム・ブランドと水夫副長に命中し、二人とも命を落としている。この種の事故は、当時空砲を放つ習慣がなかったため、珍しいことではなかった。また、幾人かが汚れた水が原因による赤痢で死亡している。
アントンジル湾を出発後、ログピズ島（これは誤り。正しくはアガレガ島）を視認した。この島には様々なフルーツが実っていたが、島の沿岸部の形状からいって上陸は不可能だった。
悪天候に悩まされ、ニコバルの北にあるというソンブレロ島（一説によると、ナンカウリー島（英語版）のこと。なお、ソンブレロ島なる島は実際には存在しないという）に上陸した。島には先住民が住んでおり、不思議な服を着た悪魔崇拝者がいた。ソンブレロ島を探索していた船員たちは樹木や石に変化する虫を発見したという。
いわく、その島に自生している樹木は地中にいる不思議な虫と繋がっていて、樹木が成長するごとに虫の方は小さくなっていく。最終的には虫が樹木へと完全に変化する。しかし、その樹木を少し引き抜いて放置しておくと木の樹皮が岩に変化するという。また、この虫（樹木）の特殊な性質として、その樹木を人間が引き抜こうとすると、それに抗おうとする虫がさらに地中に潜っていくという。
なお、船員たちは、この不思議な虫を何匹か捕まえてイギリスに持ち帰っている。
1602年6月5日にスマトラ島に到着し、その後アチェンに到着している。ここではアチェン国王（当時の国王（スルタン）はアラーウッディーン・リアーヤット・シャー（英語版））による歓迎と、女王の親書についての取引が書かれている。
エリザベス女王に対し好意的であった国王により歓迎されたランカスターらは、親書を渡し入国と交易の自由、関税自主権、裁判権等が認められた。
ランカスターはここで胡椒を入手しようとしたが、不作により少量しか手に入らず、当時胡椒の主な積出港であったプリアマン（英語版）に向かうも、彼らの想像よりも高く、多くを購入することはできなかった。
この時、アチェンにはポルトガルの使節も来ていたが、ランカスターの船にスパイを送りこみ、船内の絵図を描かせ、マラッカの兵力を借りて奇襲をかけようとしていた。スパイを言いくるめ、この計画を知ったランカスターは、国王に援助を求め、絵図の回収とポルトガルの使節の出港の引き留めを願い出ている。この援助によって、マラッカ海峡で待ち伏せをしていたランカスターの船団は、後にやってきたポルトガル船に襲い掛かり、キャラコやインド更紗等を略奪している。
1602年10月24日再びアチェンへ戻り、国王へ略奪した商品の一部を贈ると、国王はエリザベス女王への親書を彼に託した。この時残しておいた船員に胡椒の買い付けをさせていたが、プリアマン、バンタン（ジャワ島西北端）ではここよりもより低価で、十分に胡椒を買い付けできると知り、11月9日にアチェンを出航しバンタンに向かっている。
バンタンに到着したランカスターは、国王へ親書を渡し、自由貿易、安全保障等が認められた。ここで十分な胡椒の買い付けに成功したランカスターは、1603年2月20日にイギリスへ戻るため出航している。この時ヘクター号船長ジョン・ミドルトンが病で死亡している。
バンタンを後にしたランカスターらが、イギリスに到着するまでの記述がなされている。嵐による船の損傷により、三ヶ月あまり陸に上がれず航海を続けている。行きと較べて、極端に記述が減っているのが特徴的である。セント・ヘレナ島を経由し、船の修復と食糧調達を行った後、アセンション島を通過し、1603年9月11日にイギリスのダウンズ（英語版）に到着した。
評価・影響

イギリス東インド会社の台頭と、ポルトガルの没落の歴史的転換を理解するうえで、この東インド航行の旅行記の歴史的価値の高さが窺える。この旅行記の特徴でもある、ポルトガルやオランダの商人についての記述の多さから、当時の東方交易におけるイギリス外のヨーロッパ各国の様子を知る上で貴重な史料であるといえる。
ただ、筆者が不明であること、題目に「今は士爵」と添えられていることから分かるように、航海が終わった後に加筆されている可能性があり、やや信憑性に欠ける。尚、交易における内容の細かさや、この種の記録にありがちな船長への中傷の言葉もないことから、恐らくはランカスターと親密な関係にある商人であったという推測ができる。
この東インド会社設立第一回派遣の成功は、後にイギリスが大発展するきっかけとなる。旅行記という記録が、後の航海にとって重要な知識という武器となったこの時代において、この旅行記もイギリスの東方交易発展の要因となったと言える。
The Last East-Indian voyage, London, 1606.所収の挿絵。「レッド・ドラゴン号、ジェイムズ・ランカスター船長、1602年、マラッカ海峡にて」
シシリアン (1969年の映画)

| シシリアン |
| --- | --- |
 Le Clan des Siciliens The Sicilian Clan
監督:  アンリ・ヴェルヌイユ
脚本:  アンリ・ヴェルヌイユ　 ジョゼ・ジョヴァンニ　  ピエール・ペルグリ
原作:  オーギュスト・ル=ブルトン
製作:  ジャック・ストラウス
出演者:  ジャン・ギャバン   アラン・ドロン   リノ・ヴァンチュラ
音楽:  エンニオ・モリコーネ
撮影:  アンリ・ドカエ
配給:  20世紀フォックス
公開:   1969年12月1日  1970年3月29日  1970年4月4日
上映時間:  124分
製作国:   フランス  アメリカ合衆国
言語:  フランス語、イタリア語、英語
テンプレートを表示
『シシリアン』（仏： Le Clan des Siciliens）は、1969年のフランス映画である。原作は犯罪小説家オーギュスト・ル=ブルトン。主演：ジャン・ギャバン、アラン・ドロン。監督：アンリ・ヴェルヌイユによるフィルム・ノワールである。主演俳優らによる英語吹き替え版（題名The Sicilian Clan）も存在するため、ドロンの役名は英語読みでサーテットと表記される場合もある。
ストーリー

通称“五月の蠅”こと一匹狼の殺し屋サルテ（アラン・ドロン）は、シシリアン・マフィア組長のヴィットリオ・マナレーゼ（ジャン・ギャバン）の力を借りて刑務所から脱獄した。パリに潜伏したサルテは、マナレーゼの息子アルドの妻であるジャンヌ（イリナ・デミック）と恋仲になる。
マナレーゼは、サルテが持ちかけた宝石の強奪話に乗り、ニューヨーク・マフィア組長のトニー・ニコシアを仲間に引き入れた。宝石展の展示物を、アメリカへの空輸中に飛行機から奪うという大胆な計画は、見事に成功した。
老齢のマナレーゼは、この仕事を最後に勇退し、故郷のシシリー島に戻る予定だった。しかし、サルテとジャンヌの不倫が、ファミリーの知るところとなった。マナレーゼはサルテをパリに呼び戻し、殺害する計画を立てるが、ジャンヌの機転でサルテは危機を回避した。
空港でサルテを待ち伏せたマナレーゼの息子たちは、情報を得たル・ゴフ警部（リノ・ヴァンチュラ）に逮捕された。一人残されたマナレーゼは、宝石強奪の分け前を渡すという口実でサルテを呼び出した。しかし、サルテへの復讐を果たしたマナレーゼを待っていたのは、逮捕という結末だけだった。
キャスト

| 役名 | 俳優 | 日本語吹替> 東京12ch版 |
| --- | --- | --- |
| ヴィットリオ・マナレーゼ | ジャン・ギャバン | 森山周一郎 |
| ロジェ・サルテ | アラン・ドロン | 野沢那智 |
| ル・ゴフ警部 | リノ・ヴァンチュラ | 田口計 |
| ジャンヌ | イリナ・デミック | 藤波京子 |
| トニー・ニコシア | アメデオ・ナザーリ | 寺島幹夫 |
| セルジオ・マナレーゼ | マルク・ポレル | 納谷六朗 |
| アルド・マナレーゼ | イブ・ルフェーブル | 森川公也 |
| ジャック | シドニー・チャップリン | 渡部猛 |
| 不明 その他 |  | 芝田清子  稲葉まつ子 藤原登紀子 白川澄子 朝戸鉄也 糸博 友近恵子 浅井淑子 加藤精三 伊藤弘一 石丸博也 桑原たけし 平林尚三 増岡弘 西尾徳 |

| 演出 | 演出 | 田島荘三 |
| 翻訳 | 翻訳 |  |
| 効果 | 効果 |  |
| 調整 | 調整 | 杉原日出弥 |
| 制作 | 制作 | トランスグローバル |
| 解説 | 解説 | 南俊子 |
| 初回放送 | 初回放送 | 1974年4月4日 『木曜洋画劇場』 |
黒体

黒体（こくたい、英: black body）あるいは完全放射体（かんぜんほうしゃたい、英: full radiator）とは、外部から入射する電磁波を、あらゆる波長にわたって完全に吸収し、また熱放射できる想像上の物体のこと。実在しない理想的な物体であるが、自然科学を理解する上で重要なモデルである。
概要

黒体とは、全ての波長にわたって電磁波（光）を全く反射しない物体である。そのような物体は実在しないため、理想気体や剛体と同じように、黒体は実在しない。現在、発見された最も黒体に近い物質は、99.995 % の光（電磁波）を吸収する。
物体からの放射（反射を含まない）には、物体の相（固体・液体・気体）にかかわらず温度によって色が変わることが経験的に知られている。色は、さまざまな波長の光が混ざり合って構成されている。色の変化は、波長ごとの強度分布の変化であることがスペクトルの分析によりわかっており、またその分布は、温度によって一定であることも知られている。これを物体からの熱放射という。特に、黒体からの熱放射を黒体放射（黒体輻射）と言う。
ある温度の黒体から放射される電磁波のスペクトルは一定である。温度 T において、波長 λ の電磁波の黒体放射強度 B (λ) は、
で表される。これをプランク分布という。プランク分布を全波長領域で積分することで、黒体放射の全エネルギーが T4 に比例する（E = σT4，σ：シュテファン＝ボルツマン定数）というシュテファン＝ボルツマンの法則を得る。また微分して B (λ) が極大となる λ を求めることで、放射強度最大の波長が T に 反比例するというウィーンの変位則を得る。
空洞放射

十分に大きな空洞を考え、空洞を囲む壁は光を含む一切の電磁波を遮断するものとする。この空洞に、その大きさに対し十分に小さな孔を開ける。孔を開けることによる空洞内部の状態の変化は無視できるとする。外部からその孔を通して入った電磁波（ある特定の波長のものが光）が、空洞内部で反射するなどして再び出てくることは、孔が十分に小さければ無視することができる。つまりこの空洞は、外部から入射する電磁波を（ほぼ）完全に吸収する黒体とみなすことができる。
この空洞からの熱などの放射を空洞放射という。
空洞放射に近い身近な例は、ガラス工房などでガラスを熱する炉である。産業革命以降、製鉄業等で炉内の温度測定をする需要があったため、空洞放射の理論が用いられた背景がある。
黒体放射と量子力学

→詳細は「黒体放射」を参照
黒体放射（英: black body radiation）とは黒体から放射される光。温度が低いときは赤っぽく、温度が高いほど青白くなる。夜空に輝く星々も青白い星ほど温度が高い。温度はK（ケルビン）で表示される（右図参照）。
理想的な黒体放射をもっとも再現するとされる空洞放射が温度のみに依存するという法則は、1859年にグスタフ・キルヒホフにより発見された。以来、空洞放射のスペクトルを説明する理論が研究され、最終的に1900年にマックス・プランクによりプランク分布が発見されたことで、その理論が完成された。
物理的に黒体放射をプランク分布で説明するためには、黒体が電磁波を放出する（電気双極子が振動する）ときの振動子の量子化を仮定する必要がある（プランクの法則）。つまり、振動子が持ちうるエネルギー (E) は振動数 (ν) の整数倍に比例しなければならない。
この比例定数 h = 6.626×10-34 [J・s] は、後にプランク定数とよばれ物理学の基本定数となった。これは物理量は連続な値をとり、量子化されないとする古典力学と反する仮定であったが、1905年にアルベルト・アインシュタインがこのプランクの量子化の仮定と、光子の概念を用いて光電効果を説明したことにより、この量子化の仮定に基づいた量子力学が築かれることとなった。
灰色体

工業製品などでの設計では、対象の温度範囲が限られていることから、しばしば放射率が周波数に依存しない理想的な物体として灰色体（かいしょくたい）を用いる。灰色体は、黒体の放射率を 1 より小さい定数としたものと等価であり、黒体よりも現実的なモデルを与える。
応用例

放射温度計
サーモグラフィー
八戸工業大学第一高等学校

| 八戸工業大学第一高等学校 |
| --- | --- |
 
 ja北緯40度31分3秒 東経141度32分20秒﻿ / ﻿北緯40.51750度 東経141.53889度﻿ / 40.51750; 141.53889座標: 北緯40度31分3秒 東経141度32分20秒﻿ / ﻿北緯40.51750度 東経141.53889度﻿ / 40.51750; 141.53889
過去の名称:  八戸高等電波学校 八戸電波高等学校 八戸電波工業高等学校
国公私立の別:  私立学校
設置者:  学校法人八戸工業大学
校訓:  綱領「自律・誠実・敬愛」 建学の精神　「正己以格物」 校訓　「学道則愛人」「堅忍不抜」
設立年月日:  1959年2月12日
創立記念日:  5月20日
共学・別学:  男女共学
課程:  全日制課程
単位制・学年制:  学年制
設置学科:  普通科 工業科 　情報コース 　電子通信コース 　電気コース 　機械コース 　土木コース 　建築コース
学校コード:  D102310000100 
高校コード:  02511K
所在地:  〒031-0822
 青森県八戸市大字白銀町字右岩淵通7-10
外部リンク:  公式ウェブサイト
 ウィキポータル 教育  ウィキプロジェクト 学校
テンプレートを表示
八戸工業大学第一高等学校（はちのへこうぎょうだいがくだいいちこうとうがっこう、英: Hachinohe Institute of Technology's First High School ）は、青森県八戸市大字白銀町字右岩淵通にある私立高等学校。八戸工業大学の付属校。
概要

創立以来一貫して「文武両道」を教育活動の指針と位置づけ実践している。普通科と工業科を有し、その併設の利点を活かし、多様な進路指導を可能にする教育システム構築し、入学者全員の進学・就職決定を目標にしている。また、社会に有為な人材を輩出する人間教育の柱の一つとして、部活動に力点を置いている。
制服

男子は学生服。女子はブレザー。夏期はポロシャツ。
バッグ

学校指定のバッグ
学科

普通科
特別進学コース
スポーツ進学コース
総合コース
公務員コース
工業科
情報コース
電子通信コース
電気コース
機械コース
土木コース
建築コース
沿革

1956年2月28日 - 八戸高等電波学校を設置申請する。
1956年4月10日 - 八戸高等電波学校を開校する。
1959年4月1日 - 八戸電波高等学校を開校する。
1961年11月1日 - 八戸電波工業高等学校に改称する。
1964年4月1日 - 普通科を新設する。
1972年4月1日 - 八戸工業大学を開学する。
1973年4月1日 - 八戸工業大学の隣接地に大開校舎を新築し普通科を移転する。従来の白銀校舎は高校本部及び工業専門とする。
1975年4月1日 - 白銀校舎を、八戸工業大学第一高等学校と称し、大開校舎は分離独立して、八戸工業大学第二高等学校として発足する。
1984年4月1日 - 通信科を廃止し情報科を新設し、6学科（情報・電子・電気・機械・土木・建築）に改める。
2003年4月1日 - 進学科を新設し、4学科（進学・情報電気・機械・環境建設）に改める。
2010年4月1日 - 普通科（進学・教養コース）と工業科（情報・電子通信・電気・機械・土木・建築コース）に改める。
2018年4月1日 - 普通科を特別進学・スポーツ進学・教養・公務員コースの４コースに改める。
部活動

部活動が盛んで、県内でも強豪とされている部活が多数ある。
アイスホッケー部は全国高等学校選抜アイスホッケー大会での2度の優勝をはじめ数々のタイトルを獲得、日本代表選手も輩出している。
硬式野球部は、1983年夏（第65回）で甲子園初出場をして以降、春1回、夏5回甲子園に出場しており、1987年春（第59回）では、初出場で青森県勢31年ぶりのベスト8に進出。
レスリング部はオリンピック金メダリストをはじめ、名選手を輩出している。
自転車競技部はオリンピック級の選手や競輪選手を古くから輩出している。
ラグビー部は八戸電波高時代に全国高等学校ラグビーフットボール大会に1度出場経験がある。
出身者

市川笑也 (2代目)（歌舞伎役者）
岩崎誠一（元競輪選手）
岡堀勉（元競輪選手、モントリオールオリンピック出場）
小笠原義明（元競輪選手、モントリオールオリンピック出場）
尾崎富士雄（元プロボクサー）
近藤陽子（女子アイスホッケー選手）長野オリンピック日本代表主将
橋本三千雄（男子アイスホッケー選手）
畑享和（男子アイスホッケー選手）
古川駿（男子アイスホッケー選手）
小原日登美（女子レスリング選手、ロンドンオリンピックレスリング金メダリスト）
坂本襟（女子レスリング選手）
榎本美鈴（女子レスリング選手）
堰川康信（ウエイトリフティング選手、北京オリンピック出場）
森内壽春（元プロ野球選手）
種市篤暉（プロ野球選手）
廣谷帆香（フィギュアスケート）
西山響（ボウリング選手）
内山太嗣（プロ野球選手）
小原佑太（競輪選手）
荒谷憲輝（階上町長）
小代優華

| しょうだい ゆうか 小代 優華 |
| --- | --- |
本名:  小代 優華 （しょうだい ゆうか）
生年月日:   (1995-09-10) 1995年9月10日（29歳）
出生地:   日本・東京都
血液型:  A型
ジャンル:  子役
活動期間:  1999年 - 2009年
主な作品
 教育番組『ひとりでできるもん!どきドキキッチン』
テンプレートを表示
小代 優華（しょうだい ゆうか、1995年9月10日 - ）は、日本の元女優。セントラルグループ・セントラル子供タレントを経て、J-beansに所属していた。
出演 > テレビ番組

ひとりでできるもん!どきドキキッチン（2002年 - 2004年、NHK教育） - 春野ゆうか 役
英語であそぼ FunFunFriday（2003年9月26日、NHK教育） - 春野ゆうか 役（ゲスト出演）
木曜時代劇 慶次郎縁側日記3（2006年、NHK） - 花ごろも少女 役
出演 > 映画

姉のいた冬（2007年、陣内里也監督） - 吉永みち子 役
出演 > CM

アース製薬「アースうずまき香」
ガリバー「いくらかチェック篇」
がんばれ!ベアーズ（映画告知）
日立製作所「DVDカムWooo」
マミー引越しセンター
出演 > 舞台

劇団OPA公演 幕末純情伝（2007年） - かえで 役
劇団OPA公演 The last wish～嘘つきは泥棒の始まり?～（2007年） - 龍ヶ峰南 役
大規模言語モデル

| --- | --- |
: ウィキペディアにおける大規模言語モデルについては、「Wikipedia:大規模言語モデルの利用」をご覧ください。
大規模言語モデル（だいきぼげんごモデル、英: large language model、LLM）は、多数のパラメータ（数千万から数十億）を持つ人工ニューラルネットワークで構成されるコンピュータ言語モデルで、膨大なラベルなしテキストを使用して自己教師あり学習または半教師あり学習（英語版）によって訓練が行われる。
LLMは2018年頃に登場し、さまざまなタスク（仕事）で優れた性能を発揮している。これにより、自然言語処理の研究の焦点は、特定のタスクに特化した教師ありモデルを訓練するという以前のパラダイムから転換した。大規模言語モデルの応用は目覚ましい成果を上げているが、大規模言語モデルの開発はまだ始まったばかりであり、多くの研究者が大規模言語モデルの改良に貢献している。
大規模言語モデルという用語の正式な定義はないが、大規模コーパスで事前訓練された、数百万から数十億以上のパラメータを持つディープラーニングモデルを指すことが多い。LLMは、特定のタスク（感情分析、固有表現抽出、数学的推論など）のために訓練されたものとは異なり、幅広いタスクに優れた汎用モデルである。LLMがタスクを実行する能力や対応可能な範囲は、ある意味では設計における画期的な進歩には依存せず、LLMに費やされた資源（データ、パラメータサイズ、計算力）の量の関数であるように見える。多数のパラメータを持ったニューラル言語モデルは、文の次の単語を予測するという単純なタスクで十分に訓練することで、人間の言葉の構文や意味の多くを捉えられることがわかった。さらに、大規模な言語モデルは、世の中に関するかなりの一般知識を示し、訓練中に大量の事実を「記憶」することができる。
質の高い証拠とされる2023年のメタ分析によれば、大規模言語モデルの創造性に目を輝かせる研究者はもちろん世界中に存在し、小規模言語モデルにはできないタスクで大規模言語モデルが創造的であると主張する学者もいるが、これは測定基準の選択によるものであり、創造性によるものではないことが示唆されている。異なる測定基準を選択した場合、大規模言語モデルの創造性の優位性は見られない可能性が示唆されている。
特性 > 事前訓練データセット

→「」も参照
大規模言語モデル（LLM）は通常、さまざまな分野や言語にわたる大量のテキストデータで事前訓練が行われる。著名な事前訓練データとしては、Common Crawl、The Pile（英語版）、MassiveText、Wikipedia、GitHubなどが知られている。大半のオープンソースのLLMは一般公開されているデータを利用しているが、非公開のデータで事前訓練が行われることもある。事前訓練データは、重複排除、毒性が高いシーケンスの除外、低品質データの破棄など、生テキストをさまざまな手順で前処理して作成される。言語データの蓄積は年率7%で増加しており、2022年10月現在、高品質な言語データは4兆6,000億語から17兆語の範囲内にあると推定されている。LLMでは事前訓練データを広範に使用するため、事前訓練データに評価データが混入すると、ベンチマーク評価時のモデル性能に影響を与えるデータ汚染が起こる。
特性 > スケーリング則

→詳細は「ニューラルスケーリング則」を参照
一般にLLMは、モデルの大きさ、訓練データセットの大きさ、訓練費用、訓練後の性能という4つのパラメータにより特徴づけられる。これらの4つの変数はそれぞれ実数で正確に定義することができ、経験から「スケーリング則（scaling laws）」と呼ばれている単純な統計的法則（英語版）によって関係していることがわかっている。
ある研究では、両対数学習率（英語版）のスケジュールで、1エポック分の自己回帰的な訓練を行ったLLMの場合のスケーリング則（Chinchillaスケーリング（英語版））を、次のように表している。 {\begin{cases}C=C_{0}ND\\L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}ここで、変数は次のとおりである。
C：モデルの訓練に掛かる費用（FLOPS単位）
N：モデル内のパラメータ数
D：訓練セット内のトークン数
L：テストデータセットで訓練されたLLMにより達成される、トークン当たりの平均の負対数尤度損失（ナット/トークン）
統計パラメータは次のとおりである。
C_{0}=6、すなわち、1つのトークンで訓練するにはパラメータごとに6 FLOPSの費用がかかる。ここで、訓練費用は推論費用よりもはるかに高いことに注意を要する。1つのトークンを推論する費用はパラメータあたり1～2 FLOPSである。
\alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69
特性 > 創発的能力

一般に、さまざまなタスクに対する大規模モデルの性能は、同様の小規模モデルの性能に基づいて推定することができるが、ときには、下流におけるスケーリング則が「破綻」し、大規模モデルが、小規模モデルとは異なる速度で突然に能力を獲得することがある。これは「創発的能力」（英: emergent abilities）として知られているもので、これまでも多くの研究の対象であった。研究者は、こうした能力は「小規模モデルの性能を外挿することでは予測できない」ことが多いと指摘している。このような能力は、プログラムされたり設計されたりするものではなく、むしろ「発見される」ものであり、場合によっては、LLMが一般公開されて初めて発見されることすらある。これまでに数百もの創発的能力が報告されている。たとえば、多段階の算術、大学レベルの試験、単語の意図する意味の特定、思考の連鎖、国際音声記号の解読、マス埋めパズル、ヒングリッシュ（ヒンディー語と英語の混成語）の段落内の不快な内容の特定、およびスワヒリ語のことわざに相当する英語の生成などがある。
Schaefferらは、創発的な能力は予測不可能な形で獲得されるのではなく、滑らかなスケーリング則に従って予測通りに獲得されると主張している。著者らは、LLMが多肢選択問題を解く統計的トイモデルを検討し、他の種類のタスクを考慮して修正されたこの統計モデルが、これらのタスクにも適用できることを示した。
ここで、 x をパラメータ数、 y をモデルの性能とする。
y={\text{average }}Pr({\text{correct token}})のとき、 (\log x,y) は指数曲線（1でプラトーに達する前）となり、創発のように見える。
y={\text{average }}\log(Pr({\text{correct token}})) のとき、 (\log x,y) のプロットは直線（0でプラトーに達する前）となり、創発には見えない。
y={\text{average }}Pr({\text{the most likely token is correct}}) のとき、 (\log x,y) はステップ関数となり、創発のように見える。
歴史 > 先駆者

大規模言語モデルの基本的な考え方は、単純で反復的なアーキテクチャを持つランダムな重みを持つニューラルネットワークを出発点とし、大規模な言語コーパスで訓練することである。
この最も初期の例のひとつがエルマンネットワークで、「犬が男を追いかける」のような単純な文でリカレントネットワークを訓練した。訓練したネットワークは、各単語をベクトル（内部表現）に変換した。次にこれらのベクトルを接近度によって木構造にクラスタリングした。その結果、ツリーはある構造を示すことがわかった。動詞と名詞はそれぞれ別の大きなクラスターに属していた。名詞のクラスター内には、無生物（inanimates）と生物（animates）の2つの小さなクラスターがある、などである。
別の方法として、自然言語理解を記号プログラムによってコンピュータにプログラムする論理AI（英語版）があった。この方法は1990年代まで主流であった。単純な機構と大規模なコーパスによって自然言語を学習するという着想は1950年代に始まったが、商業的に最初に成功したのは、統計的機械翻訳（英語版）のためのIBMアライメントモデル（英語版）（1990年代）であった。
歴史 > Transformerフレームワークへの進化

初期の「大規模」言語モデルは、長期・短期記憶（LSTM、1997年）などのリカレントアーキテクチャを使用して構築された。AlexNet（2012年）が画像認識における大規模ニューラルネットワークの有効性を実証した後、研究者は大規模ニューラルネットワークを他のタスクに適用した。2014年には、2つの主要な手法が提案された。
seq2seqモデル（3億8,000万パラメータ）は、2つのLSTMを使用して機械翻訳を行い、単純化されたアーキテクチャ（ゲート付き回帰型ユニット、GRU）で同じ手法が使われた（1億3000万パラメータ）。
アテンション機構は、2つのLSTMの中間に「アテンション機構」を追加してseq2seqモデルを改良されたものとして提案された。これはTransformerのアテンション機構とは異なるが、同様のタスクを実行する[要出典]。
2016年、Google翻訳はその機構を統計的機械翻訳（英語版）からニューラル機械翻訳（英語版）へと変更した。これは、LSTMとアテンションによるseq2seqである。10年かけて構築された以前のシステムよりも高いレベルの性能に到達するのに9カ月を要したという。
2017年の論文「Attention is all you need」では、アテンション機構を抽象化して、アテンション機構を中心としたTransformerアーキテクチャを構築した。seq2seqモデルは、他のリカレントネットワークと同様、入力シーケンスを一度に1つずつ処理しなければならないのに対し、Transformerアーキテクチャはシーケンス上で並列に実行することができる。これによって、より大規模なモデルを訓練できるようになった。
歴史 > BERTとGPT

BERT（2018年）は双方向Transformerであり、GPT（2018年）は単方向（自己回帰）Transformerである。これらは2023年時点の主要なアーキテクチャである。
アーキテクチャ

大規模言語モデルでは、2018年以降、逐次データに対する標準的なディープラーニング手法となったTransformer（トランスフォーマー）アーキテクチャが最もよく使用されている。別のアーキテクチャの系統として、混合エキスパート（英語版）（Mixture of experts、MoE）がある。これはGoogleが開発したAIモデルでしばしば使用されており、sparsely-gated MoE（2017年）に始まり、Gshard（2021年）、GLaM（2022年）へと続いている。
アーキテクチャ > トークン化

LLMは数学的な関数であり、その入力と出力は数字のリストである。したがって、単語は数値に変換しなければならない。
一般に、LLMはこれを行うために固有のトークナイザを使用し、テキストと整数のリストを対応させている。通常、LLMを訓練する前にトークナイザを訓練データセットの全体に適用し、その後は凍結する。トークナイザにはバイト対符号化が選択されるのが一般的である。
トークナイザのもう一つの機能は、計算量を削減するためのテキスト圧縮である。たとえば「where is（どこにありますか）」などの一般的な単語やフレーズは、7文字ではなく1つのトークンでエンコードすることができる。OpenAI GPTシリーズでは、1つのトークンが一般的な英語テキストの約4文字、つまり約0.75語に相当するトークナイザを使用している。珍しい英語のテキストは予測しにくく、そのため圧縮が困難となり、より多くのトークンを必要とする。
トークナイザは、任意の整数を出力することはできない。一般的には  \{0,1,2,...,V-1\} の範囲の整数に限って出力される。ここで、 V は語彙（ごい）サイズと言う。
トークナイザには、任意のテキストを扱えるものと（一般にUnicodeで直接操作する）、そうでないものがある。トークナイザは、エンコード不可能なテキストに遭遇した場合、「未知テキスト（unknown text）」を意味する特別なトークン（多くは0）を出力する。BERT論文にならって、[UNK] と表記されることが多い。
もう一つの特別なトークンは、「パディング」を表す [PAD] （多くは1）である。これは、一度に大量のテキストがLLMに入力されたときに、エンコードされたテキストが同じ長さになるよう調節するのに使用される。LLMでは一般に、入力の長さが一定のシーケンス（ジャグ配列という）であることを要求するため、エンコードした短いテキストを長いテキストにそろえるのにパディングを行う。
アーキテクチャ > 出力

LLMの出力は、その語彙の確率分布である。これは通常、次のように実装される。
テキストを受信すると、大半のLLMはベクトル  y\in \mathbb {R} ^{V} を出力する。ここで、 V は語彙サイズ（上述）である。
ベクトル  y はソフトマックス関数によって  {\text{softmax}}(y) となる。
このプロセスでは通常、ベクトル  y は非正規化ロジットベクトルといい、ベクトル  {\text{softmax}}(y) は確率ベクトルと呼ばれる。ベクトル  {\text{softmax}}(y) は  V 個のエントリを持ち、すべて非負であり、その合計は1となるので、 \{0,1,2,...,V-1\} に対する確率分布、つまりLLMの語彙に対する確率分布であると解釈することができる。
ソフトマックス関数は数学的に定義されており、変化するパラメータを持たないことに注意を要する。したがっては訓練は行われない。
アーキテクチャ > コンテキストウィンドウ

LLMのコンテキストウィンドウは、LLMがトークンを生成するために使用できる最長のトークンシーケンスの長さである。もしLLMがコンテキストウィンドウより長いシーケンスに対してトークンを生成するときは、トークンシーケンスをコンテキストウィンドウまで切り詰めるか、アルゴリズムに一定の変更を加える必要がある。
LLMのコンテキストウィンドウ長は1,000（1k）から10kのオーダーになる傾向がある。特にOpenAIは、2023年6月時点で、4kから16kまでのコンテキストウィンドウを備えたGPT-3.5を提供している。
アーキテクチャ > エンコーダーとデコーダーの用語

Transformerに基づくLLMでは、Transformerの原著論文で使われている用語とは多少異なる。
エンコーダのみ: フルエンコーダ、フルデコーダ
エンコーダー - デコーダー: フルエンコーダー、自己回帰デコーダー
デコーダのみ: 自己回帰エンコーダ、自己回帰デコーダ
ここでの「自己回帰」とは、「マスク化アテンション」節で説明したように、あるトークンからそれに続くすべてのトークンへのアテンションをゼロにするために、アテンションヘッドにマスクが挿入されることを意味する。
訓練

ほとんどのLLMは事前訓練されており、テキストトークンの訓練データセットが与えられると、モデルはデータセット内のトークンを予測する。このような事前訓練には一般に2つの形式がある。
自己回帰モデル（GPT型、次単語予測）
「私が食べるのが好きなのは」のようなテキスト部分が与えられると、モデルは「アイスクリーム」のような「次のトークン」を予測する。
マスク済みモデル（BERT型、穴埋め（英語版））
「私は [MASK] クリームを [MASK] したい」 のようなテキスト部分が与えられると、モデルは「アイスを食べる」のような隠されたトークンを予測する。
LLMは、次文予測（Next Sentence Prediction、NSP）のように、データ分布の理解をテストする補助タスクを使用して訓練することもある。この場合は、文の組が提示され、モデルはそれらが訓練コーパス内で連続して出現するかどうかを予測しなければならない。
通常、LLMは特定の損失関数、つまりトークンごとの平均負対数尤度（交差エントロピー損失とも呼ばれる）を最小化するように訓練する[要出典]。たとえば、自己回帰モデルで「食べるのが好き」が与えられ、確率分布  Pr(\cdot |{\text{I like to eat}}) を予測する場合、このトークンに対する負対数尤度損失は  -\log Pr({\text{ice}}|{\text{I like to eat}}) となる。
訓練のとき、訓練を安定させるために正則化損失も使用される。ただし、正則化損失は通常、テストや評価の際には使用されない。また、負対数尤度だけでなく、他にも多くの評価項目がある。詳細については以下の節を参照のこと。
訓練 > 訓練用データセットの大きさ

最初期のLLMは、数十億語の規模のコーパスで訓練が行われた。
OpenAIのGPT（generative pre-trained transformer）シリーズの最初のモデルであるGPT-1は、2018年に、9億8500万語で構成されるBookCorpusで訓練された。同年、BERTはBookCorpusと英語版Wikipediaの組み合わせで訓練され、合計で33億語になった。それ以来、LLMの訓練用コーパスは桁違いに増加し続けており、トークン数は最大で数兆個に達した。
訓練 > 訓練費用

LLMの訓練には計算費用がかかる。2020年の調査では、15億パラメータのモデル（当時の最先端技術より2桁小さい）の訓練にかかる費用は8万ドルから160万ドルと見積もられた。その後、ソフトウェアとハードウェアの進歩により費用は大幅に下がり、2023年の論文では、120億パラメータのモデルを訓練するための費用は72,300 A100-GPU 時間であると報告されている。
TransformerベースのLLMの場合、訓練コストは推論コストよりもはるかに高くなる。1つのトークンを訓練するのに1パラメータあたり6 FLOPSのコストがかかるのに対し、1つのトークンを推論するには1パラメータあたり1～2 FLOPSである。
2020年代の企業は、ますます大規模になるLLMに巨額の投資を行った。GPT-2（15億パラメータ、2019年）の訓練費用に5万ドル、またGoogle PaLM（54億パラメータ、2022年）は800万ドルを要した。
下流タスクへの適用

2018年から2020年にかけて、特定の自然言語処理（NLP）タスクでLLMを使用するための標準的な方法は、「タスクに特化」した追加訓練によってモデルをファインチューニングすることであった。その後、GPT-3のような「より強力」なLLMでは、解決すべき問題をテキストプロンプトとしてモデルに提示したり、場合によっては、類似の問題とその解決策のいくつかのテキスト例とともに提示する「プロンプティング技術」を使用して、追加の訓練なしでタスクを解決できることがわかった。
下流タスクへの適用 > ファインチューニング

→詳細は「ファインチューニング (機械学習)」を参照
ファインチューニング（英: fine-tuning、微調整）とは、事前訓練された既存の言語モデルを、特定のタスク（例: 感情分析、固有表現識別、品詞タグ付け（英語版））で（教師ありの）訓練を行うことによって修正する手法である。これは転移学習の一種である。一般的には、言語モデルの最終層と下流タスク（英: downstream tasks）の出力とを接続する新しい重みのセットを導入することになる。言語モデルの元の重みは「凍結」したまま、それらを出力に接続する新しい重み層のみが訓練中に調節されるように構成する。また、元の重みをわずかずつ更新させたり、あるいは以前の凍結された層と一緒に更新されることもある。
下流タスクへの適用 > プロンプト

→「プロンプトエンジニアリング」および「少数ショット学習」も参照
GPT-3によって普及したプロンプトパラダイムでは、解決すべき問題はテキストプロンプト（回答を促す指示）で定式化され、モデルは（推論して）補完を生成することによってそれを解決しなければならない。「少数ショットプロンプト」（英: few-shot prompting）の場合、プロンプトには類似した組（問題、解決）の少数の例が含まれる。たとえば、映画レビューに対する感情をラベル付けする感情分析タスクは、次のような例で回答が促される。
レビュー: この映画は気が沈む。
感情: ネガティブ

レビュー: この映画は素晴らしい!
感情:
もしモデルが「ポジティブ」と出力すれば、正しくタスクが解決されたことになる。一方、「ゼロショットプロンプト」（英: zero-shot prompting）の場合、解決例を提供しない。同じ感情分析タスクに対するゼロショットプロンプトの例は、『映画レビューに関連するセンチメントは「この映画は素晴らしい!」』である。
LLMにおける少数ショットの性能は、NLPタスクで競争力のある結果を達成することが示されており、ときには先行する最先端のファインチューニング手法を凌ぐことさえある。このようなNLPタスクの例としては、翻訳、質問応答、穴埋め（英語版）、マス埋めパズル、文中の新語検出などがある。優れたプロンプトを作成し、最適化することをプロンプトエンジニアリングと呼ぶ。
下流タスクへの適用 > インストラクション・チューニング

インストラクション・チューニング（英: instruction tuning、命令チューニング）は、より自然で正確なゼロショットプロンプトによる対話を促進するために考案されたファインチューニングの一形態である。テキストが入力されると、事前訓練された言語モデルは、訓練に使用したテキストコーパスの分布に一致するような補完を生成する。たとえば、「ハムレットの主要テーマについてエッセイを書いてください」というプロンプトが与えられたとき、単純な言語モデルは「3月17日以降に受け取った提出物には、1日あたり10%の遅延損害金が適用されます」といった（意図しない）補完を出力するかもしれない。インストラクション・チューニングでは、自然言語による命令として定式化された多くのタスクの例と、適切な応答を用いて言語モデルを訓練する。
インストラクション・チューニングでは、さまざまな手法が実践されている。その一例である「自己学習（英: self-instruct）」は、LLMによって生成された事例（人間が作成した少数の初期事例からブートストラップしたもの）の訓練セットで言語モデルをファインチューニングする。
下流タスクへの適用 > 強化学習によるファインチューニング

OpenAIのInstructGPTプロトコルでは、人間が作成したプロンプトと応答の組からなるデータセットによる教師ありファインチューニングと、それに続く、人間のフィードバックによる強化学習（RLHF）を伴っている。この場合、人間の好みを反映したデータセットを用いて報酬関数を教師あり学習し、その後、この報酬モデルを使用した近位方策最適化（英語版）によってLLM自体を訓練する。
下流タスクへの適用 > ツールの使用

LLMだけでは解決が難しい、あるいは不可能な問題もある。たとえば、「354 * 139 = 」のような計算式の場合、次のトークンを予測することは困難であり、「What is the time now? It is」（今は何時ですか？ 今は）についてはまったく予測できない。しかし、人が計算機を使って計算し、時計を使って時刻を知るように、LLMも他のプログラムを呼び出して次のトークンを予測することができる。LLMは、「What is the time now? It is {system.time()}」（今何時ですか？ 今は{system.time()}）や、「354 * 139 = {354 * 139}」のようにプログラムコードを生成し、次に別のプログラムインタプリタが生成されたコードを実行してその出力を埋める。この基本的な戦略は、生成されたプログラムを複数回試行したり、別のサンプリング戦略を使用して改良することもできる。
一般的に、LLMにツール（道具）を使わせるためには、ツールを使えるようにファインチューニングする必要がある。ツールの数が有限であれば、ファインチューニングは一度で済むかもしれない。オンラインのAPIサービスのようにツールの数が任意に増えるのであれば、APIの仕様書を読み取ってAPIを正しく呼び出せるようにLLMをファインチューニングすることができる。
より単純なツールの使用形態として、検索拡張生成（Retrieval Augmented Generation、RAG）があり、これはLLMを文書検索を使用して拡張するもので、ときにはベクトルデータベース（英語版）を使うこともある。クエリが与えられると、文書検索ツールが呼び出され、もっとも関連性が高い文書が取得される（通常、初めにクエリと文書をベクトルで符号化し、次にクエリベクトルにユークリッドノルムで最も近いベクトルを持つ文書を検索する）。その後、LLMは、クエリと取得した文書の両方に基づいて出力を生成する。
下流タスクへの適用 > エージェント

LLMは言語モデルであり、それ自体は目標を持たないためエージェントではないが、知的エージェントの構成要素として使用することができる。
ReAct（Reason + Act）法は、LLMをプランナーとして使用し、LLMからエージェントを構築するものである。LLMは「考えごとを声に出して言う」よう促される。具体的には、言語モデルに対して、環境のテキスト表現、目標、可能な行動のリスト、および過去の行動と観察の記録が与えられる。LLMは、行動を決める前に1つまたは複数の思考を行い、それが環境内で実行される。LLMプランナーに与えられる環境の言語的記述は、ときには環境を記述した論文のLaTeXコードすら考えられる。
リフレクション法は、いくつかのエピソードにわたって学習するエージェントを構築する手法である。各エピソードの終わりに、LLMはそのエピソードの記録が渡され、次のエピソードでより良い成績を出すための「教訓」を考えるように促される。これらの「教訓」は次のエピソードでエージェントに渡される。
モンテカルロ木探索では、LLMをロールアウトのためのヒューリスティクスとして使用することができる。プログラムされた世界モデルが利用できない場合、LLMは世界モデルとして動作するように環境を説明するよう促されることもある。
オープンエンド探索では、LLMを観測値の「興味深さ（interestingness）」のスコアリングに使用し、これを通常の（非LLM）強化学習エージェントを誘導する報酬信号として使用することができる。あるいは、LLMに、カリキュラム学習のために次第に難しくなるタスクを提案させることもできる。LLMプランナーは、個々の行動を出力する代わりに、複雑な行動シーケンスを表す「スキル」や関数を構築することもできる。スキルを保存して後で呼び出すことができるため、プランニングの抽象度を高めることができる。LLMを使用したエージェントは、過去のコンテキストの長期記憶を保持して、この記憶は検索拡張生成と同じ方法で取り出すことができる。このようなエージェントどうしが社会的に相互作用することができる。
圧縮

通常、LLMの訓練では、全精度または半精度の浮動小数点数（float32とfloat16）が使用される。float16は16ビット（つまり2バイト）なので、たとえば10億個のパラメータは2ギガバイトのサイズとなる。典型的な最大級のモデルは1,000億個のパラメータを持ち、ロードするのに200ギガバイトを必要とするため、ほとんどの一般向けコンピュータの能力を超えたものとなる。訓練後の量子化（英語版）（Post-training quantization）は、訓練済みモデルの性能をほとんど維持したまま、パラメーターの精度を下げることで、必要なサイズを削減することを目的としている。量子化の最も単純な形は、すべての数値を所定のビット数に切り捨てるだけである。これは、層ごとに異なる量子化コードブックを使用することで改善できる。さらに、パラメータごとにさまざまな精度（英語版）を適用し、特に重要なパラメータ（外れ値の重み）にはより高い精度を確保することで、さらなる改善をはかることができる。
量子化モデルは通常は凍結され、量子化前のモデルだけがファインチューニングされるが、量子化モデルも引き続きファインチューニングが可能である。
評価 > パープレキシティ

言語モデルの性能を表す最も一般的な指標は、所与のテキストコーパスにおける言語モデルのパープレキシティである。パープレキシティは、モデルがデータセットの内容をどれだけうまく予測できるかを示す尺度である。モデルがデータセットに割り当てる尤度（ゆうど）が高いほど、パープレキシティは低くなる。数学的には、パープレキシティは、トークンごとの平均負対数尤度の対数として定義される。 \log({\text{Perplexity}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(Pr({\text{token}}_{i}|{\text{context for token}}_{i}))ここで、 N はテキストコーパス内のトークン数であり、「context for token  i（トークン  i の文脈）」は使用するLLMの種類に依存する。たとえば、LLMが自己回帰型の場合、「context for token  i」はトークン  i よりも前に現れたテキストの一部である。
言語モデルは訓練データに対して過剰適合する可能性があるため、モデルは通常、未知のデータから構成されるテストセットに対するパープレキシティによって評価される。このことは、大規模な言語モデルを評価する際に、特に重要な課題となる。言語モデルの訓練は、主にウェブから収集された、より大規模なテキストコーパスが使用されるため、モデルの訓練データに特定のテストセットの一部が誤って含まれてしまう可能性がますます高くなる。
評価 > タスク固有のデータセットとベンチマーク

また、言語モデルがより具体的な下流タスクを実行する能力を評価するために、多くのテスト用データセットやベンチマークが開発されている。テストは、一般的な知識、常識的な推論、数学的な問題解決など、さまざまな能力を評価するために設計することができる。
評価用データセットの大区分の1つに、質問と正解の組で構成される質問応答データセットがある。たとえば、『「サンノゼ・シャークスはスタンレーカップで優勝しましたか?」、「いいえ」 』のような組である。質問回答タスクでは、モデルのプロンプトに期待される答えを導き出せるテキストが含まれる場合、「明白なもの（オープンブック (en:英語版) ）」とみなされる。たとえば、先の質問には、「2016年、シャークスはスタンレーカップ決勝戦に進出し、ピッツバーグ・ペンギンズに敗れた。」という文を含むテキストが追加される可能性がある。そうでない場合、タスクは「（理解する術がなく）説明できないもの（クローズドブック）」とみなされ、モデルは訓練中に獲得した知識を動員する必要がある。一般的な質問回答データセットの例として、TruthfulQA、Web Questions、TriviaQA、SQuADなどがある。
評価用データセットは、テキスト補完の形式をとることもできる。この場合、モデルは、プロンプトを完成させるために最も可能性の高い単語や文章を選択する。たとえば、「アリスはボブと友達だった。アリスは彼女の友人の＿＿＿を訪ねた。」のような穴埋め型の設問である。
また、さまざまな評価データセットやタスクを組み合わせた複合ベンチマークも開発されている。たとえば、GLUE、SuperGLUE、MMLU、BIG-bench、HELMなどがある。
かつては、評価用データセットの一部を手元に残し、残りの部分で教師ありファインチューニングを行い、その後に結果を報告するのが一般的であった。現在では、事前訓練されたモデルをプロンプティング技術によって直接評価することが一般的になっている。しかし、特定のタスクに対するプロンプトの作成方法、特にプロンプトに付加される解決済みタスクの事例数（nショットプロンプトのn値）については研究者によって異なる。