stanford-oval/wikipedia huggingface dataset:
カリウム
用途 > 食品

前述のように、カリウムイオンは人の生命と健康を支えるのに重要な役目を果たす栄養素である。高血圧を抑えるためにナトリウムの摂取量を制限している人々によって、食塩の代替として塩化カリウムが用いられる（代用塩）。昆布、わかめ、ひじきなどの海藻類に多く含まれる。アメリカ合衆国農務省は、トマトペースト、オレンジジュース、テンサイ、ホワイトビーンズ、ジャガイモ、バナナその他多くのカリウムをよく含む食品をリストアップし、カリウム含有量をランク付けしている。一方で腎臓病の患者にはカリウム摂取制限を行う必要があり、近年は水耕栽培でカリウム含有量を大幅に抑えたレタスなどの生野菜の生産も行われている。
酒石酸カリウムナトリウム（KNaC4H4O6、ロッシェル塩）はベーキングパウダーの主成分であり、鏡に銀メッキをする際にも用いられる。臭素酸カリウムは強力な酸化剤（E924）であり、パン生地や魚肉練り製品の改良剤として用いられていた。また、亜硫酸水素カリウム（KHSO3）はワインやビールなどの防腐剤として用いられていたが、肉には用いられなかった。亜硫酸水素カリウムは織物や麦わらの漂白剤としてや、皮なめし剤としても用いられていた。
用途 > 工業

純粋なカリウム蒸気は数種類の磁気センサに用いられる。また、光電子素子としても用いられる。ナトリウムとカリウムの合金（NaK、ナトリウムカリウム合金）は熱交換媒体として原子炉の冷却材などに低融点合金として用いられる液体であり、希ガスや溶媒からわずかに含まれる二酸化炭素や水、あるいは酸素を高度に除去するための反応剤、乾燥剤としても用いられる。ナトリウムカリウム合金はまた、反応性蒸留（英語版）においても用いられる。ナトリウム、カリウム、セシウムをそれぞれ12 %、47 %、41 %含んだ三元合金は、合金としては最低である融点−78 °Cを持つ。
すべてのカリウム化合物は強いイオン性を有しているため、カリウムはしばし有用な陰イオンを保持させるのに用いられ、その一例として、クロム酸カリウム（K2CrO4）がある。クロム酸カリウムは黄色の染料やインク、爆薬や花火、皮なめし剤、ハエ取り紙、安全マッチなどさまざまな用途に用いられるが、これらはカリウムイオンの特性というよりはむしろクロム酸イオンの特性であり、カリウムイオンはクロム酸イオンを保持する役目を担っている。
水酸化カリウムは強塩基であり、強酸や弱酸を中和してpHをコントロールするために用いられる。また、カリウム塩類の生産や、エステルの加水分解反応、洗剤産業における油脂のけん化などにも用いられる。
硝酸カリウム（KNO3、硝石）は、火薬（黒色火薬）において酸化剤として働き、また肥料としても重要である。歴史的には、チリ硝石の主成分である硝酸ナトリウムに塩化カリウムを反応させる「転化法」と呼ばれる方法によって工業生産されていたが、ハーバー・ボッシュ法による空気から化学的に窒素を固定する手法（化学的窒素固定法）が確立してからは、炭酸カリウムもしくは水酸化カリウムを硝酸に溶解させる方法で作られるようになった。また、グアノや蒸発岩などの天然鉱石からも得られる。
シアン化カリウム（KCN、青酸カリ）は銅や貴金属（特に金や銀）を錯体を形成することによって溶解させる用途に使われ、それらの金属の電鋳や電解めっき、金鉱山の採掘にも用いられる。シアン化カリウムはまた、有機合成においてニトリル類を合成するためにも用いられ、さらには、シアン化銀とともにメッキ浴としても用いられる。シアン化カリウムはこのように多くの用途を有する有用な化合物であるが、生物に対して非常に強い毒性を示す。炭酸カリウム（K2CO3、ポタッシュ）は穏やかな乾燥剤として用いられ、ガラスや石鹸、カラーテレビのブラウン管、蛍光灯、織物の染料や顔料の製造にも利用される。過マンガン酸カリウム（KMnO4）は酸化剤や漂白剤、浄化物質として利用され、サッカリンの製造にも用いられる。塩素酸カリウム（KClO3）はマッチや爆薬に加えられる。臭化カリウム（KBr）は、以前は写真の定着剤や医薬品の鎮静剤として用いられていた。また、フェリシアン化カリウムやフェロシアン化カリウムも写真の作成に利用される。ヘキサフルオロケイ酸カリウム（K2SiF6）は琺瑯や陶器の釉薬、特殊ガラスなどの用途に利用される。ヨウ化カリウム（KI）は殺菌消毒薬などに使われる。
超酸化カリウムは橙色固体であり、持ち運び可能な酸素源として自給式ガスマスクに用いられる。気体の酸素よりも使用する容積が小さくて済むため、鉱山や潜水艦、宇宙船において呼吸のための酸素供給システムとしても広く用いられている。また、過酸化カリウムは二酸化炭素吸収剤として利用される。
ヘキサニトロコバルト(III)酸カリウム（K3[Co(NO2)6]、硝酸コバルトカリウムとも呼ばれる）はオーレオリンもしくはコバルトイエローと呼ばれる色の絵の具として用いられる。
用途 > 工業 > 反応試薬

カリウムアミドは、強い求核性を有するアミドアニオン（NH2−）源として芳香族求核置換反応などに利用される強塩基性の化合物であり、液体アンモニアにカリウムを反応させることで得られる。また、有機金属化合物であるアルキル化カリウムは、しばし反応の中間体として利用されている。しかし、単離されたアルカリ金属のアルキル化合物は少なく、その例外的なものとしてメチルカリウム（CH3K）がある。これはメチル水銀とナトリウム-カリウム合金との反応によって得られ、副生成物としてナトリウムアマルガムが形成される。カリウムの金属有機化合物はイオン性物質であるため炭化水素などの有機溶媒への溶解性はそれほど高くない。また、反応性が強く空気中で発火し、水と激しく反応する。カリウムのアルコキシドは強塩基性の求核剤としてハロアルカンの脱離反応などに利用される。代表的なものにクライゼン縮合に利用されるカリウム tert-ブトキシドがある。このようなカリウムのアルコキシドは、水素化カリウムもしくは金属カリウムとアルコールとを反応させることによって合成される。水素化カリウムは、アルコールのヒドロキシ基からプロトンを引き抜くことが可能なほどの強力な塩基であり、反応後の副生成物が水素しか発生しない利点を有している。
用途 > 工業 > 化学分析

臭化カリウムは、赤外分光法において分析試料の錠剤を作るためのマトリックスとして用いられる（臭化カリウム錠剤法）。フェリシアン化カリウム（ヘキサシアノ鉄（III）酸カリウム、赤血塩） K3[Fe(CN)6] は、チオクローム法と呼ばれるチアミン（ビタミンB1）の分析において、チアミンを酸化させる酸化剤として用いられる。また、フェリシアン化カリウムはフェロシアン化カリウム（ヘキサシアノ鉄（II）酸カリウム）K4[Fe(CN)6] とともに、鉄イオンの定性分析にも用いられる。二クロム酸カリウム（K2Cr2O7）や過マンガン酸カリウムは、その強い酸化力を利用して酸化還元滴定における1次標準物質として用いられる。また、一価のカリウムイオンのイオン半径はNH4+のそれと非常に近い値であるので、NH4+と置換が可能である。それゆえ、実験において水素結合の影響の有無を調べたい時に、水素結合を形成するNH4+を、水素結合を形成しないK+と置換して、結果に変化が生じるか否かを観察するということが行われる。
用途 > 同位体の用途

前述のカリウム40がアルゴン40へと崩壊する特性は、一般的に岩の放射年代測定に利用されている（カリウム-アルゴン法）。岩石がマグマから形成された時点では岩石中にアルゴン40は含まれていないが、岩石が形成されて以降は岩石中のカリウム40の崩壊によってアルゴン40が生成し岩石中に蓄積されていく。岩石中のアルゴン40の存在量は、岩石が形成されてからの時間に比例して増加していくため、岩石中のカリウム40の濃度と蓄積されたアルゴン40の量を測定することで岩石の年代を推定することができる。年代測定にもっとも適した鉱石には、白雲母、黒雲母、深成岩/広域変成岩の角閃石や火山岩の長石などがある。火山流や浅い貫入に由来する岩石試料もまた、加熱されて試料中のアルゴンが失われるような変化を受けていないそのままの状態の試料であれば、すべて年代測定することができる。年代測定以外では、カリウムの同位体は風化の研究における放射性トレーサーとして幅広く用いられる。また、カリウムが生命維持のために必要とされる栄養素であるため、生物地球化学的循環の研究にも用いられる。
カリウム40はフェルミ粒子であるため、低温物理学において使われることがある。2003年には50万個のカリウム40原子を用いてフェルミ凝縮による縮退物を生成することに成功し、2013年には10万個のカリウム40原子を用いて絶対零度を下回る負温度の状態を実現することに初めて成功した。
歴史

カリウムは、草木を焼いた灰として古来から利用されてきたが、これがナトリウム塩とは根本的に異なる物質であるということは理解されていなかった。元素としてのカリウムや、ほかの塩類から分離された独立した要素としてのカリウム塩類は古代ローマ時代には知られておらず、元素のラテン語名は古典ラテン語でなく、むしろ新ラテン語であった。カリウムは、カノのハウサ人による濃青色の織物を生産するために、灰とインディゴ、湯を混ぜ合わせて使われていた秘密の成分であった。
1736年、ゲオルク・シュタールはナトリウムとカリウムの塩の重要な差異について彼が提唱するに至った実験的な徴候を得、1736年、アンリ＝ルイ・デュアメル・デュ・モンソーによってその違いが証明された。1807年、イギリスのハンフリー・デービーが新しく発見されたボルタ電池を用いて、水酸化カリウム（苛性カリ）を電気分解（溶融塩電解）することによって金属カリウムを初めて単離した。この元素は電気分解によって分離された最初の金属であった。植物はほとんどナトリウムを含有しないため、potashはおもにカリウム塩であり、残りの成分は主に水溶性の低いカルシウム塩である。
その数年後、デービーはカリウムを単離したのと類似した技術によって、植物塩でない、鉱石より誘導された水酸化ナトリウムから金属ナトリウムを単離し、カリウムとナトリウムの元素、塩類が違う物質であることを示した。この単離された金属ナトリウムおよび金属カリウムがともに元素であることが示されたが、この見解が一般に認められるまでには長い時間がかかった。
長い間、カリウムの大きな用途はガラス、石鹸と漂白剤の製造に限られていた。動物性油脂および木炭や植物油から作られるカリウム石鹸は軟石鹸として知られ、非常に水によく溶け柔らかい傾向があり重宝されていた。1840年ドイツのユストゥス・フォン・リービッヒによって、カリウムが植物のために必要な元素であり、しかも大部分の土壌においてカリウムが欠乏していることが発見され、カリウム塩類の需要は急激に増加した。モミの木から作られる木の灰がカリウム源として使われていたが、ドイツのシュタースフルト（英語版）近郊においてカリウム塩を含んだ鉱床が発見され、1868年にドイツでカリウム肥料の工業規模の生産が始まった。その他のカリウム鉱床は、1960年代までにカナダで大きなものが発見され、主要な生産源となった。
危険性

単体の金属カリウムは消防法第2条第7項および別表第一第3類1号により第3類危険物に指定されている。また毒物及び劇物取締法に定める劇物に該当する。
カリウムは水と激しく反応し、水酸化カリウムと水素ガスを発生させる。
この反応は発熱反応であり、その発熱量は発生した水素を引火させるのに十分な熱量である。そのため、酸素存在下において爆発するおそれがある。また、反応によって生じる水酸化カリウムは皮膚に炎症を起こし、眼球角膜を不可逆的に破壊し、失明を引き起こすほどの強アルカリである。
カリウムの微細粒子は空気中において室温で発火し、加熱されれば塊状金属でも発火する。発火したカリウムに水をかけると、カリウムの密度は0.89 g/cm3と水より軽いため、燃焼しているカリウムが水に浮かび大気中の酸素にさらに曝されることになり、また、水とカリウムの反応によって水素と反応熱が生成するため、カリウムによる火災はより一層悪化する。そのため、通常の消火活動ではカリウムによる火に対して、効果がないか悪化させることとなる。カリウムの火の消火には、乾燥した塩化ナトリウム（食卓塩）、炭酸ナトリウム（ソーダ灰）、および二酸化ケイ素（砂）が効果的である。また、金属火災用に設計された一部の粉末消火器や、窒素およびアルゴンも効果的である。
カリウムはハロゲンと激しく反応し、臭素と反応すると爆発する。硫酸ともまた爆発的に反応する。燃焼によってカリウムは過酸化物や超酸化物を形成し、これらは油のような有機物もしくは金属カリウムと激しく反応する可能性がある。
カリウムは空気中の水蒸気と反応するため、通常乾燥した鉱油中で保管されるが、リチウムやナトリウムと異なり無期限に鉱油中に保存してはいけない。半年から1年以上保管されると、刺激に敏感な過酸化物が金属カリウム上や保管容器のふたの下に形成され、ふたを開けた際に爆発する。そのため、カリウムは酸素を含まない不活性な気体もしくは真空下で保存しない限り、3か月以上は保管しないことが推奨される。
金属カリウムは反応性が非常に高いため、扱う人の皮膚や目を完全に保護し、カリウムとの間に防爆壁を置くことが望ましく、非常に慎重に取り扱わなければならない。
カリウムの炎色反応
カリウム40の崩壊
カリウムを含んでいる長石（花崗岩などの主成分）
ニューメキシコで産出したカリ岩塩
カリウム鉱山の採掘の結果生じた、主として塩化ナトリウムからなるボタ山（ドイツ）
ナトリウム-カリウムポンプによるイオンの輸送
硫酸カリウムおよび硫酸マグネシウムからなる肥料
硝酸コバルトカリウム（コバルト・イエロー）
水酸化カリウム
硝酸カリウム
過マンガン酸カリウム
ハンフリー・デービー
金属カリウムと水との反応。カリウムと水との反応で生じた水素がピンクもしくは薄紫色で燃焼している（この炎色はカリウムの蒸気によるものである）。強アルカリ性の水酸化カリウムは水溶液として生成する
2023年シーズンのシアトル・シーホークス

| シアトル・シーホークス 2023 |
| --- | --- |
成績:  9勝8敗
地区:  NFC西地区3位
CON:  NFC8位
結果:  レギュラーシーズン敗退
組織
オーナー:  ポール・アレン財団
GM:  ジョン・シュナイダー（英語版）
HC:  ピート・キャロル
ホーム:  ルーメン・フィールド
« 20222024 » 
2023年シーズンは、シアトル・シーホークスのNFL48年目のシーズン。ピート・キャロル・ヘッドコーチの14年目のシーズン。
直近のチーム成績

| 年 | 成績 | NFC | 地区 | 勝 | 敗 | 分 | 率 | Div | Con | 平均得点 | 平均失点 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 2023 | レギュラー敗退 | 8位 | 3位 | 9 | 8 | 0 | .529 | 2–4 | 7–5 | 21.4 | 23.6 |

| 2022 | ワイルドカード敗退 | 7位 | 2位 | 9 | 8 | 0 | .529 | 4–2 | 6–6 | 23.9 | 23.6 |
| 2021 | レギュラー敗退 | 11位 | 4位 | 7 | 10 | 0 | .412 | 3–3 | 4–8 | 23.2 | 21.5 |
| 2020 | ワイルドカード敗退 | 3位 | 1優勝 | 12 | 4 | 0 | .750 | 4–2 | 9–3 | 28.7 | 23.2 |
| 2019 | ディビジョナル敗退 | 5位 | 2位 | 11 | 5 | 0 | .688 | 3–3 | 8–4 | 25.3 | 24.9 |
| 2018 | ワイルドカード敗退 | 5位 | 2位 | 10 | 6 | 0 | .625 | 3-3 | 8-4 | 26.8 | 21.7 |
| 2017 | レギュラー敗退 | 8位 | 2位 | 9 | 7 | 0 | .563 | 4-2 | 7-5 | 22.9 | 20.8 |
| 2016 | ディビジョナル敗退 | 3位 | 1優勝 | 10 | 5 | 1 | .656 | 3-2-1 | 6-5-1 | 22.1 | 18.3 |
| 2015 | ディビジョナル敗退 | 6位 | 2位 | 10 | 6 | 0 | .625 | 3-3 | 7-5 | 25.8 | 17.3 |
| 2014 | NFC優勝/SB敗戦 | 1位 | 1優勝 | 12 | 4 | 0 | .750 | 5-1 | 10-2 | 24.6 | 15.9 |
| 2013 | スーパーボウル制覇 | 1位 | 1優勝 | 13 | 3 | 0 | .813 | 4-2 | 10-2 | 26.1 | 14.4 |
プレシーズン

| 週 | 日 | 相手 | 結果 | 戦績 | 開催地 | 観客数 |
| --- | --- | --- | --- | --- | --- | --- |
 勝利   敗戦  at：敵地での対戦
レギュラーシーズン

| 前年 | AFC> 西地区 | AFC> 南地区 | AFC> 北地区 | AFC> 東地区 | NFC> 西地区 | NFC> 南地区 | NFC> 北地区 | NFC> 東地区 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 1位 | チーフス | ジャガーズ | ベンガルズ | ビルズ | 49ers | バッカニアーズ | バイキングス | イーグルス |
| 2位 | チャージャーズ | タイタンズ | レイブンズ | ドルフィンズ | シーホークス | パンサーズ | ライオンズ | カウボーイズ |
| 3位 | レイダース | コルツ | スティーラーズ | ペイトリオッツ | ラムズ | セインツ | パッカーズ | ジャイアンツ |
| 4位 | ブロンコス | テキサンズ | ブラウンズ | ジェッツ | カージナルス | ファルコンズ | ベアーズ | コマンダース |
：1度対戦　 ：2度対戦
| 週 | 日 | 相手 | 結果 | 戦績 | 開催地 | 観客数 |
| --- | --- | --- | --- | --- | --- | --- |
 勝利   敗戦  at：敵地での対戦
※ 同地区の対戦相手を太文字で表示
レギュラーシーズン > 順位表

| NFC西地区 2023> チーム | NFC西地区 2023> 勝 | NFC西地区 2023> 敗 | NFC西地区 2023> 分 | NFC西地区 2023> 勝率 | NFC西地区 2023> Div | NFC西地区 2023> Con | NFC西地区 2023> 総得点 | NFC西地区 2023> 総失点 | NFC西地区 2023> 平均得点 | NFC西地区 2023> 平均失点 | NFC西地区 2023> SOS | NFC西地区 2023> SOV | NFC西地区 2023>  | NFC西地区 2023>  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| (1)サンフランシスコ・49ers | 12 | 5 | 0 | .706 | 5–1 | 10–2 | 491 | 298 | 28.9 | 17.5 | .509 | .475 |  |  |
| (6)ロサンゼルス・ラムズ | 10 | 7 | 0 | .588 | 5–1 | 8–4 | 404 | 377 | 23.8 | 22.2 | .529 | .453 |  |  |
| シアトル・シーホークス | 9 | 8 | 0 | .529 | 2–4 | 7–5 | 364 | 402 | 21.4 | 23.6 | .512 | .392 |  |  |
| アリゾナ・カージナルス | 4 | 13 | 0 | .235 | 0–6 | 3–9 | 330 | 455 | 19.4 | 26.8 | .561 | .588 |  |  |

| NFC 2023> 順 位.地区優勝 | NFC 2023> チーム.地区優勝 | NFC 2023> 地 区.地区優勝 | NFC 2023> 勝.地区優勝 | NFC 2023> 敗.地区優勝 | NFC 2023> 分.地区優勝 | NFC 2023> 勝率.地区優勝 | NFC 2023> DIV.地区優勝 | NFC 2023> CON.地区優勝 | NFC 2023> SOS.地区優勝 | NFC 2023> SOV.地区優勝 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 1 | サンフランシスコ・49ers | 西 | 12 | 5 | 0 | .706 | 5–1 | 10–2 | .509 | .475 |
| 2 | ダラス・カウボーイズ | 東 | 12 | 5 | 0 | .706 | 5–1 | 9–3 | .446 | .392 |
| 3 | デトロイト・ライオンズ | 北 | 12 | 5 | 0 | .706 | 4–2 | 8–4 | .481 | .436 |
| 4 | タンパベイ・バッカニアーズ | 南 | 9 | 8 | 0 | .529 | 4–2 | 7–5 | .481 | .379 |
ワイルドカード
| 5 | フィラデルフィア・イーグルス | 東 | 11 | 6 | 0 | .647 | 4–2 | 7–5 | .481 | .476 |
| 6 | ロサンゼルス・ラムズ | 西 | 10 | 7 | 0 | .588 | 5–1 | 8–4 | .529 | .453 |
| 7 | グリーンベイ・パッカーズ | 北 | 9 | 8 | 0 | .529 | 4–2 | 7–5 | .474 | .458 |

| 8 | シアトル・シーホークス | 西 | 9 | 8 | 0 | .529 | 2–4 | 7–5 | .512 | .392 |
| 9 | ニューオーリンズ・セインツ | 南 | 9 | 8 | 0 | .529 | 4–2 | 6–6 | .433 | .340 |
| 10 | ミネソタ・バイキングス | 北 | 7 | 10 | 0 | .412 | 2–4 | 6–6 | .509 | .454 |
| 11 | シカゴ・ベアーズ | 北 | 7 | 10 | 0 | .412 | 2–4 | 6–6 | .464 | .370 |
| 12 | アトランタ・ファルコンズ | 南 | 7 | 10 | 0 | .412 | 3–3 | 4–8 | .429 | .462 |
| 13 | ニューヨーク・ジャイアンツ | 東 | 6 | 11 | 0 | .353 | 3–3 | 5–7 | .512 | .353 |
| 14 | ワシントン・コマンダース | 東 | 4 | 13 | 0 | .235 | 0–6 | 2–10 | .512 | .338 |
| 15 | アリゾナ・カージナルス | 西 | 4 | 13 | 0 | .235 | 0–6 | 3–9 | .561 | .588 |
| 16 | カロライナ・パンサーズ | 南 | 2 | 15 | 0 | .118 | 1–5 | 1–11 | .522 | .500 |
タイブレーク
1 2 3  カンファレンス勝率で1位が49ers、2位がカウボーイズ、3位がライオンズ  1 2  共通の対戦相手における勝率でバッカニアーズがセインツを上回り、地区優勝  1 2 3  カンファレンス勝率でセインツがパッカーズ・シーホークスを下回り、9位確定  1 2  勝利した相手の勝率でパッカーズがシーホークスを上回る
白岡町内循環バス

白岡町内循環バス（しらおかちょうないじゅんかんバス）は、かつて埼玉県南埼玉郡白岡町（しらおかまち）が運行していたコミュニティバスである。1999年（平成11年）11月15日より運行開始。2007年（平成19年）3月31日をもって廃止された。埼玉県蓮田市に本社を置いていた貸切バス事業者の木村観光バスへ運行委託していた。
2012年（平成24年）10月1日、白岡町は単独で市制施行して白岡市となった。コミュニティバス廃止後、市内全域を運行エリアとする乗合タクシー「白岡市のりあい交通」が2014年（平成26年）より運行されている。
概要

白岡町は町内循環バスの運行目的として、町内の公共交通網を充実させ、高齢者や障害者などの交通弱者の外出を支援するとともに、町役場や温水プール、老人福祉センターなどの公共施設への交通アクセスの利便性向上を図るためとしていた。
運行形態は、木村観光バスの貸切バス車両をチャーターする業務委託方式とし、道路運送法第21条第2号の規定に基づく許可を運行受託者が取得するものとした。これはすなわち、かつて「21条バス」と呼ばれた「貸切代替バス」であり、市町村が貸切バス事業者に運行を委託する方式であった。2006年（平成18年）に道路運送法が改正される以前は、こうした「21条バス」方式により多くの自治体が貸切バス事業者へコミュニティバスを運行委託していたが、同年の改正以降はコミュニティバスの受託には乗合バス事業の免許が必要とされるようになった。なお、木村観光バスは乗合バス事業を行っていなかったため、同法改正後にコミュニティバスの運行受託を継続するには、乗合バス事業の免許を取得する必要が生じることとなった。
→詳細は「廃止代替バス § 21条バス」を参照
白岡町では、2006年度（平成18年度）をもって町内循環バスを廃止した理由を「運行効率に課題が生じ、費用対効果の視点から廃止に至った」と述べている。なお、廃止された平成18年度の平均利用実績は以下のとおりであった。
西部コース：1日4.59人、1便1.15人
中央コース：1日24.12人、1便4.02人
東部コース：1日41.61人、1便6.93人
町内循環バスの廃止後、木村観光バスは2011年（平成23年）3月11日に発生した東日本大震災の影響で業績悪化し、翌2012年（平成24年）3月をもって事業停止した。
運行内容

運行日は平日のみで、土休日は運休であった。また年末年始（12月29日 - 1月3日）も運休となる。
運行時間は、概ね8時から17時までであった。
運行内容 > 運賃・乗車券類

運賃は大人・小人ともに100円均一、未就学児は無料。
各種障害者手帳を所持する障害者に対し、申請により無料乗車証を福祉課で交付し、本人と付添者・介助者1人まで運賃無料としていた。
障害者手帳ごとの無料乗車証の交付枚数は以下のとおりであった。
身体障害者手帳：971枚
療育手帳：206枚
精神障害者保健福祉手帳：131枚
路線

白岡町役場、町営温水プールや老人福祉センターなどの公共施設と、JR東北本線白岡駅・新白岡駅を結び、町内各地を運行していた。名称は「町内循環バス」だが、西部コースのみ往復運行、中央コースと東部コースは循環運行であった。いずれのコースもバス停留所は約500m間隔で設置していた。
以下は廃止時点での路線。
路線 > 西部コース

柴山 - 白岡中学校 - 勤労者体育センター - 新白岡駅東口 - 老人福祉センター - 白岡町役場 - 温水プール
往復運行。運行距離は約14km、所要時間は約40分。停留所は25箇所。運行便数は一日に片道4便（2往復）で、4便目は町立白岡中学校（現：白岡市立白岡中学校）の通学バスと併用していた。
なお、この白岡中学校通学バスも同じく木村観光バスが運行受託していたものだが、同社の事業停止に伴い2012年3月8日以降は運行不能となったため、同年3月12日以降は大和観光自動車へ引き継がれた。
路線 > 中央コース

温水プール - 白岡駅東口 - 西 - 野牛 - 新白岡駅東口 - 老人福祉センター - 白岡町役場 - 温水プール
循環運行。運行距離は約18km、所要時間は一周約50分。停留所は29箇所。運行便数は一日に6便（6循環）。
路線 > 東部コース

温水プール - 白岡駅東口 - 実ヶ谷 - 上野田 - 高岩 - 老人福祉センター - 白岡町役場 - 温水プール
循環運行。運行距離は約26km、所要時間は一周約60分。停留所は37箇所。運行便数は一日に6便（6循環）。
車両

西部コースは大型路線車、中央コースと東部コースはマイクロバスで、いずれも専用カラーの車両で運行されていた。専用カラーは白地に川の流れを表す水色の曲線と、オレンジ色で手をつなぎ歩く人々、緑の樹木、桜の花と木、立ち並ぶ家々などが色とりどりに描かれていた。
特徴は全車が車椅子での乗車を可能としバリアフリー対応していたことで、まだツーステップバスも多く使用されていた1990年代後半にバリアフリー対応を徹底していたことは特筆される。
西部コースの専用車両は、日野・ブルーリボンワンステップ低床バス（KC-HU2MMAA、大宮200か216）であった。車椅子用スロープ板を装備する（定員73人、車椅子席1）。車椅子用スペースは座席を撤去して専用スペースとし、車止めが用意されていた。現在のノンステップバスで主流とされる座席跳ね上げ式とは異なる。車椅子での乗降を容易にするため、中扉は4枚折戸となっていた。また車椅子で乗降可能であることを示すため、前面方向幕（幕式）の両側に車椅子マークを掲げており、均一運賃だが中乗り前降りとしていた。町内循環バス廃止後は茶色の木村観光バスカラーに塗装変更され、同社の事業停止直前まで在籍していた。
中央コース、東部コースの専用車両は、日野・リエッセIIで、後部ドアに車椅子用リフトを装備する（定員21人、車椅子席2）。また車体側面の扉には電動ステップを装備して一般客の乗降も容易にしていた。
神谷一鷹

| かみや かずたか神谷 一鷹> プロフィール |
| --- | --- |
愛称:  ジャスティン
出身地:   日本 東京都江東区
最終学歴:  法政大学人間環境学部人間環境学科卒業
勤務局:  NHK和歌山放送局
部署:  コンテンツセンター
職歴:  宮崎→和歌山
活動期間:  2019年 -
出演番組・活動
出演中:  本文参照
出演経歴:  本文参照
アナウンサー: テンプレート - カテゴリ
神谷 一鷹（かみや かずたか）は、NHKのアナウンサー。
人物

東京都江東区出身。法政大学人間環境学部人間環境学科卒業後、2019年入局。宮崎放送局でデビュー。
嗜好・挿話

中・高とバレーボールをやっており、今では和歌山県でバレーボールをしている。ポジションは主にセンター。
空手歴17年で黒帯保持者である。
防災士の資格を持つ。初任地宮崎放送局では、県内の中学校や高校を回り「呼びかけワークショップ」を開催し、多くの人に避難してもらえる呼びかけを研究している。
現在の担当番組

和歌山県のニュース・中継・リポート
ギュギュっと和歌山　不定期
金曜日のニュース担当
過去の担当番組

どーも、NHK（2019年6月9日）- 新人お披露目
NHKニュース イブニング宮崎（不定期：リポーター及びキャスター代行など）
九州・沖縄地方のニュース（2023年3月15日・応援派遣要員）
ニュース845福岡（2023年3月15日・応援派遣要員）
ラジオニュース（九州沖縄、R1・FM）の泊まり勤務担当（2023年3月16日 - 3月17日・応援派遣要員）
第105回全国高等学校野球選手権宮崎大会 準決勝第2試合（2022年7月23日） - ラジオ実況
強化学習

| --- | --- |
: 心理学における強化学習については「強化」、「オペラント条件づけ」をご覧ください。
強化学習（きょうかがくしゅう、英: reinforcement learning、RL）は、ある環境内における知的エージェントが、現在の状態を観測し、得られる収益（累積報酬）を最大化するために、どのような行動をとるべきかを決定する機械学習の一分野である。強化学習は、教師あり学習、教師なし学習と並んで、3つの基本的な機械学習パラダイムの一つである。
強化学習が教師あり学習と異なる点は、ラベル付きの入力／出力の組を提示する必要がなく、最適でない行動を明示的に修正する必要もない。その代わり、未知の領域の探索と、現在の知識の活用の間のバランスを見つけることに重点が置かれる。
この文脈の強化学習アルゴリズムの多くは動的計画法を使用するため、この環境は通常マルコフ決定過程（MDP）として定式化される。古典的な動的計画法と強化学習アルゴリズムとの主な違いは、後者はMDPの正確な数学的モデルの知識を必要とせず、正確な方法では実行不可能な大規模MDPを対象にできることである。代表的なアルゴリズムとして時間差分学習（TD学習）やQ学習が知られている。
導入

強化学習はその一般性から、ゲーム理論、制御理論、オペレーションズ・リサーチ、情報理論、シミュレーションに基づく最適化（英語版）、マルチエージェントシステム、群知能、統計学など、多くの分野で研究されている。オペレーションズ・リサーチや制御の文献では、強化学習は近似動的計画法（approximate dynamic programming）あるいはニューロダイナミック・プログラミング（neuro-dynamic programming）と呼ばれている。強化学習の問題は最適制御理論でも研究されており、主に最適解の存在と特徴づけや、その厳密な計算のためのアルゴリズムを対象するが、（特に環境の数学的モデルがない場合の）学習や近似への関心は高くない。また、経済学やゲーム理論では、限定合理性のもとで均衡がどのように生じるかを説明するために、強化学習が用いられることがある。
基本的な強化学習は、マルコフ決定過程（Markov decision process、MDP）としてモデル化される。
{\mathcal {S}}：環境とエージェントの状態の集合
{\mathcal {A}}：エージェントの行動の集合
P_{a}(s,s')=\Pr(S_{t+1}=s'\mid S_{t}=s,A_{t}=a)：状態  s から行動  a にて状態  s' に遷移する確率
R_{a}(s,s')：行動  a で状態  s から状態  s' に遷移した後の即時報酬（immediate reward）
強化学習の目標は、エージェントが、即時報酬から蓄積される報酬関数（reward function）または他のユーザ提供の強化信号を最大化するような、最適または最適に近い方策を学習することである。これは、動物心理学で起こっていると思われるプロセスに似ている。たとえば、生物の脳は、痛みや空腹などの信号を負の強化、喜びや食物摂取を正の強化として解釈するように配線（hardwired）されている。いくつかの状況では、動物はこれらの報酬を最適化するような行動を学習することができる。このことは、動物は強化学習が可能であることを示唆している。
基本的な強化学習エージェント型人工知能（AI）は、離散的な時間ステップで環境と相互作用を行う。各時刻 t において、エージェントは現在の状態  S_{t} と報酬  R_{t} を受け取る。次に選択可能な行動の集合から、1つの行動  A_{t} を選択し、それを環境に送信する。環境は新しい状態  S_{t+1} に移動し、遷移（transition）  (S_{t},A_{t},S_{t+1}) に関連付けられる報酬  R_{t+1} が決定される。強化学習エージェントの目標は、期待累積報酬を最大化する方策  \pi :{\mathcal {S}}\times {\mathcal {A}}\rightarrow [0,1],  \pi (s,a)=\Pr(A_{t}=a\mid S_{t}=s) を学習することである。
この問題をMDPとして定式化すると、エージェントが環境の現在の状態を直接観測することを仮定し、この場合、問題は完全観測可能（full observability）であると言う。しかし、エージェントが一部の状態しか観測できない場合、あるいは観測された状態がノイズによって破損している場合、エージェントは部分観測可能（partial observability）であると呼ばれ、正式にはその問題を部分観測可能マルコフ決定過程（partially observable Markov decision process）として定式化しなければならない。どちらの場合も、エージェントが使用できる行動の集合は制限を受ける可能性がある。たとえば、口座残高の状態が正である制約を課すことができる。状態の現在値が3で、状態遷移が値を4だけ減らそうと試みた場合、その遷移は許可されない。
あるエージェントの性能を、最適に行動している別のエージェントの性能と比較すると、その差からリグレット（英語版）（regret、後悔）という概念が生じる。最適な行動に近づくために、たとえ即時報酬は負であっても、エージェントはその行動の長期的な結果（すなわち将来の収益の最大化）について考えなければならない。
したがって、強化学習は、長期的な報酬と短期的な報酬のトレードオフを伴う問題に特に適している。強化学習は、ロボット制御（英語版）、エレベーターのスケジューリング、電気通信、バックギャモン、チェッカー、囲碁（AlphaGo）など、さまざまな問題への応用に成功している。
強化学習を強力なものにしている2つの要素として、性能を最適化するためのサンプルの使用と、大規模な環境に対処するための関数近似の使用があげられる。この2つの重要な要素により、強化学習は次のような状況下で、大規模環境に適用することができる。
環境のモデルはわかっているが、解析解（英語版）が得られない。
環境のシミュレーションモデルだけが与えられている（シミュレーションに基づく最適化（英語版）の対象）。
環境に関する情報を収集する唯一の方法は、環境と対話することである。
これらの問題のうち、最初の2つは計画問題であり（何らかの形のモデルが利用可能であるため）、最後の1つは真の学習問題であると考えることができる。ただし、強化学習はどちらの計画問題も機械学習問題に変換する。
探索

探索（exploration）と活用（exploitation）のトレードオフは、多腕バンディット問題や、Burnetas and Katehakis（1997）の有限状態空間MDPの研究を通じて、最も詳細に研究されてきた。
強化学習には巧妙な探索機構が不可欠であり、推定された確率分布を参照せず、ランダムに行動を選択すればその性能は低下する。（小規模な）有限MDPについては、比較的よく理解されている。しかし、状態数に応じてうまくスケールする（あるいは状態空間が無限の問題でも対応する）アルゴリズムがないため、単純な探索方法が最も実用的となる。
そのような方法の一つが  \varepsilon -貪欲法（イプシロンどんよくほう、 \varepsilon -greedy）で、 0<\varepsilon <1 は探索と活用の量を制御するパラメータである。確率  1-\varepsilon  で活用が選択され、エージェントは長期的に最も効果があると思われる行動を選択する（行動間の関係は無作為に解消される）。あるいは、確率  \varepsilon  で探索が選択され、行動は無作為に選択される。通常、 \varepsilon  は固定パラメータであるが、スケジュールに従ったり（エージェントが探索を徐々に少なくする）、またはヒューリスティック（経験則）に基づいて適応的に調整することもできる。
制御学習アルゴリズム

たとえ探索の問題を無視して、状態が観測可能であっても（以下は仮定）、過去の経験を使用して、どの行動がより高い累積報酬につながるかを見つけ出すという問題が残される。
制御学習アルゴリズム > 最適性の基準 > 方策

エージェントの行動（action）の選択は、方策（policy）と呼ばれる写像としてモデル化することができる。
方策の写像は、状態  s において行動  a を選択する確率を与える。決定論的な方策（全ての確率が 0 または 1）を考えても良い。
制御学習アルゴリズム > 最適性の基準 > 状態価値関数

状態価値関数（state-value function）  V_{\pi }(s) は、状態  s、すなわち  S_{0}=s から出発して、方策  \pi  に連続して従う場合の期待割引収益（expected discounted return）と定義される。したがって、大まかに言えば、状態価値関数は、ある状態にあることが「どれくらい良いか」を推定するものである。
ここで、確率変数  G は割引収益（discounted return）を表し、報酬（reward）に割引率（discount rate） \gamma  を乗じた将来の割引報酬（discounted reward）の和として定義される。
ここで、報酬  R_{t+1} は状態  S_{t} から  S_{t+1} に遷移した際の報酬である。割引率は  0<\gamma <1 に設定され、遠い未来の報酬ほど重み付けは小さくなる。割引率の考え方は経済学でも使われている。
アルゴリズムは、期待割引収益が最大になるような方策を見つける必要がある。MDPの理論から、一般性を損なうことなく、探索をいわゆる「定常方策」（stationary policies）の集合に限定できることが知られている。ある方策が返す行動分布が、（観察しているエージェントの履歴から）最後に訪れた状態にのみ依存する場合、その方策は「定常的」（stationary）である。探索はさらに決定論的な定常方策に限定されることがある。「決定論的定常方策」（deterministic stationary policy）は、現在の状態に基づいて「決定論的」に行動を選択する。このような方策は、状態の集合から行動の集合へのマッピングとして識別できるので、一般性を損なうことなく、これらの方策はこのようなマッピングと識別することができる。
制御学習アルゴリズム > 総当たり法

総当たり法（brute force method、力まかせ探索）は、次の2つの段階を伴う。
可能性のある各方策について、それに従った場合の収益をサンプリングする
期待収益が最大の方策を選択する
この場合の問題の一つは、方策数が増大する、あるいは無限大になる可能性である。また、収益の分散が大きい場合、各方策の収益を正確に推定するために多くのサンプルが必要になることもある。
これらの問題は、何らかの構造を仮定し、ある方策から生成されたサンプルが他の方策の推定に影響を与えるようにすることで改善することができる。これを実現するための2つな主要な手法は、価値関数推定と直接方策探索である。
制御学習アルゴリズム > 価値関数法

→「」も参照
価値関数法（value function methods）は、ある方策（通常は「現行」（on-policy、方策内）または「最適」（方策外、off-policy）のいずれか）に対する期待収益の推定値の集合を維持することにより、収益を最大化する方策を見つけ出そうとするものである。
これらの方法はマルコフ決定過程の理論に基づいており、最適性は前述したよりも強い意味で定義されている。方策は、どのような初期状態からでも最大の期待収益を達成する場合、最適であると呼ばれる（つまり、この定義において初期分布は何の役割も果たさない）。繰り返すが、最適方策は常に定常方策の中から見出すことができる。
最適性を正式に定義するために、方策  \pi  の下での状態価値（state-value）を、
で定義する。ここで、 G は初期状態  s から  \pi  に従うことに伴う割引収益を表す。また、 \pi  が変更しうる場合、 V^{\pi }(s) の最大可能値として V^{*}(s) を定義すると、
となる。
すべての状態において、これらの最適値を達成する方策を最適（optimal）と呼ぶ。この強い意味で最適な方策は、期待割引収益  \rho ^{\pi }=\mathbb {E} [V^{\pi }(s)] を最大化するという意味でも「最適」であることは明らかである。ここで、 s は初期状態の分布  \mu  からランダムにサンプリングした状態（したがって  \mu (s)=\Pr(S_{0}=s)）である。
最適性を定義するには状態価値で十分だが、行動価値（action-value）を定義しておくと有用である。状態  s、行動  a、方策  \pi  が与えられたとき、 \pi  の下での状態-行動ペア  (s,a) の行動価値は、
で定義される。ここで  G は、状態  s で最初に行動  a を取り、その後  \pi  に従っているときの割引収益を表している。
MDPの理論では、 \pi ^{*} が最適方策であれば、 Q^{\pi ^{*}}(s,\cdot ) から各状態  s で最も行動価値の高い行動を選択することで最適に行動する（最適行動を取る）とされている。このような最適方策（ Q^{\pi ^{*}}）の行動価値関数（action-value function）を最適行動価値関数（optimal action-value function）といい、一般に  Q^{*} と表わす。要約すると、最適行動価値関数を知っていれば、最適な行動方法を知ることができる。
MDPの完全な知識を前提とすると、最適な行動価値関数を計算するための2つの基本的な手法は、価値反復法と方策反復法である。どちらのアルゴリズムも、 Q^{*} に収束する一連の関数  Q_{k} ( k=0,1,2,\ldots ) を計算する。これらの関数を計算するには、状態空間全体に対する期待行動価値を計算する必要があるが、これは最小の（有限の）MDPを除いては非現実的である。強化学習法では、大きな状態行動空間上の行動価値関数を表現する必要性に対処するために、サンプルの平均化や関数近似の手法を使用して期待値を近似する。
制御学習アルゴリズム > 価値関数法 > モンテカルロ法

モンテカルロ法（Monte Carlo methods）は、方策反復法を模倣したアルゴリズムに使用することができる。方策反復法は、方策の評価（policy evaluation）と方策の改善（policy improvement）という2つの段階から構成される。モンテカルロ法は、方策評価段階で使用される。この段階での目標は、定常的で決定論的な方策  \pi  が与えられたとき、すべての状態-行動ペア  (s,a) に対する関数値  Q^{\pi }(s,a)（またはその適切な近似）を計算することである。ここでは簡単にするために、MDPは有限であり、行動価値を収容するのに十分なメモリがあり、問題は偶発的（英: episodic）で、各出来事の後にランダムな初期状態から新しい出来事が始まると仮定する。そして、与えられた状態-行動ペア  (s,a) の行動価値の推定値は、 (s,a) からサンプリングされた収益を時間経過とともに平均化することによって計算することができる。十分な時間があれば、この手順により、行動価値関数  Q^{\pi } の正確な推定値  Q を構築することができる。これで、方策評価段階の説明を終了する。
方策改善段階では、 Q に関する貪欲な方策（greedy policy）を計算することにより次の方策を得る。状態  s が与えられたとき、この新しい方策は  Q(s,\cdot ) を最大化する一つの行動を返す。実際には、遅延評価によって、最大化行動の計算を必要なときまで先送りすることができる。
この手法の問題を次にあげる。
最適でない方策を評価するのに時間がかかりすぎる場合がある。
サンプリングが非効率的に行われる（長い軌跡が、軌跡を開始した単一の状態-行動ペアの推定値を改善するだけである）
軌跡上の収益が高分散（high variance）である場合、収束が遅くなる。
偶発的問題（episodic problems）に対してのみ有効である。
小規模で有限なMDPでしか使えない。
以降の小節では、それぞれの問題についてさらに議論する。
制御学習アルゴリズム > 価値関数法 > 時間差分法

最初の問題は、価値が収まる前に（一部または全ての状態で）手順が方策を変更できるようにすることによって対応できる。ただし収束を妨げて問題となる可能性もある。現在のほとんどのアルゴリズムではこれを行い、一般化方策反復（generalized policy iteration）という種類のアルゴリズムを作り出すことができる。多くのアクター・クリティック法（actor-critic methods）はこの範疇（はんちゅう）に属する。
2番目の問題は、軌跡がその中の任意の状態-行動ペアに関与できるようにすることで修正できる。これは3番目の問題にもある程度有効であるが、収益の分散が高い場合のより優れた解決策は、再帰的ベルマン方程式（recursive Bellman equation）に基づくリチャード・サットンが命名した時間差分学習（temporal difference learning、TD学習）である。
TD法における計算法には、インクリメンタル法（各遷移後にメモリを変更し、遷移を破棄する）またはバッチ法（遷移をバッチ処理し、バッチに基づいて推定値を一回計算する）がある。最小二乗時間差法（least-squares temporal difference method）のようなバッチ法は、サンプル内の情報をより有効に利用できる可能性があるが、インクリメンタル法は、バッチ法が計算量やメモリの複雑性の理由で実行不可能な場合に選択される唯一の方法となる。この2つの方法を組み合わせる手法もある。時間差分に基づく方法は、4番目の問題も克服している。
TDに特有のもう一つの問題は、再帰的なベルマン方程式への依存に起因している。ほとんどのTD法には、いわゆる  \lambda  （ラムダ）パラメータ  (0\leq \lambda \leq 1) があり、ベルマン方程式に依存しないモンテカルロ法と、ベルマン方程式に完全に依存する基本的なTD法の間を、連続的に補間することができる。これにより、この問題を効果的に緩和することができる。
制御学習アルゴリズム > 価値関数法 > 関数近似法

5番目の課題を解決するために、関数近似法（function approximation methods）が提案されている。線形関数近似（linear function approximation）は、各状態-行動ペアに有限次元ベクトルを割り当てるマッピング  \phi  から始まる。そして、状態-行動ペア  (s,a) の行動価値（action-value）は、 \phi (s,a) の成分を何らかの重み  \theta  で線形結合することによって得られる。
その後、アルゴリズムは、各状態-行動ペアに関連する値ではなく、重みを調整する。ノンパラメトリック統計学の考え方に基づく方法（独自の特徴を構築することが見られる）が探究されている。
また、値の反復を出発点として、Q学習アルゴリズム（Q-learning algorithm）とその多くのバリエーションを作成することができる。行動価値関数Qを表現するためにニューラルネットワークを使用するディープQ学習法を含め、確率的探索問題へのさまざまな応用ができる。
行動価値を用いる場合の問題は、競合する行動価値を高精度に推定する必要であることになる可能性があることで、収益にノイズが多い場合には取得するのが難しい場合があるが、この問題は時間差法によってある程度軽減される。いわゆる互換関数近似法（compatible function approximation method）を使用すると、一般性と効率性が損なわれる。
制御学習アルゴリズム > 直接方策探索

別の方法として、方策空間（その何らかの部分集合）を直接探索する方法があり、この場合、問題は確率的最適化（英語版）の一つとなる。利用可能な2つの方法として、勾配を用いる方法と、勾配を用いない方法がある。
勾配法を使用する手法は方策勾配法（policy gradient method）と呼ばれる。有限次元（パラメータ）空間から方策空間へのマッピングを行い、パラメータベクトル  \theta  が与えられたとき、 \theta  に対応する方策を  \pi _{\theta } とする。評価関数を  \rho (\theta )=\rho ^{\pi _{\theta }} と定義すると、この関数は穏やかな条件下ではパラメータベクトル  \theta  の関数として微分可能になる。もし  \rho  の勾配がわかっていれば、最急降下法を使うことができる。勾配の解析解が分からないため、ノイズを含んだ推定値しか利用できない。このような推定値はさまざまな方法で構築することができ、ウィリアムズのREINFORCE法（シミュレーションベース最適化（英語版）の文献では尤度比法として知られている）のようなアルゴリズムで作成することもできる。
勾配を用いない方法も、多くの種類がある。たとえば、シミュレーティドアニーリング、クロスエントロピー探索（英語版）、または進化的計算の手法などがある。多くの勾配を用いない手法は、（理論的にも極限的にも）大域的な最適解に到達することができる。
ノイズの多いデータでは、方策の収束が遅くなることがある。こうしたことは、たとえば、軌跡が長くリターンの分散が大きい偶発的問題で起こる。このような場合、時間差分法に依存する価値関数に基づく手法が役立つ可能性がある。近年では、1970年代から存在していたアクター・クリティック法（actor-critic method）を改良する方法が提案され、さまざまな問題で良い結果を出している。
方策探索法は、ロボット工学の文脈でも使用されている。多くの方策探索法は、局所探索に基づいているため、局所最適に陥ることがある。
制御学習アルゴリズム > モデルベース・アルゴリズム

最後に、上記の方法はみな、初めにモデルを訓練するアルゴリズムと組み合わせることができる。たとえば、Dynaアルゴリズムは経験からモデルを訓練し、実際の遷移に加えて、よりモデル化された遷移を価値関数に与えることができる。このような方法はノンパラメトリックモデルに拡張できる場合があり、たとえば、遷移を単純に保存して学習アルゴリズムに「再生」させるなどの方法がある。
モデルの使用には価値関数を更新する以外の方法もある。たとえば、モデル予測制御 (en:英語版) では、モデルを用いて挙動を直接更新する。
理論

ほとんどのアルゴリズムの漸近的挙動と有限標本挙動の両方がよく理解されている。（探索問題に対処する）優れたオンライン性能が証明されたアルゴリズムも知られている。
MDPの効率的な探索については、Burnetas and Katehakis（1997）で述べられている。また、多くのアルゴリズムで有限時間性能の限界が見られるが、これらの限界はかなり緩いと予想されるため、相対的な価値と限界をより深く理解するために、さらなる研究が必要である。
インクリメンタルアルゴリズムについては、漸近的収束の問題が解決された[要説明]。時間差分に基づくアルゴリズムでは、従来よりも広い条件の下で収束するようになった（たとえば、任意の滑らかな関数近似と併用する場合）。