PRML　演習問題　解答集　第7章

## はじめに
様々な分野で多様なビッグデータが得られるようになり、こうしたデータを解析し、そこから「知」を得るための手段として、**機械学習 (Machine Learning)**、いわゆる**AI**が注目されています。そういった動きは、**農学**の分野でも広がってきており、我々**[生物測定学研究室](https://www.ut-biomet.org/)**でも、圃場のモニタリングに画像解析技術を用いたり、育種（品種改良）に機械学習のアイディアを応用した研究を行ったりしています。

こうした状況を鑑みて、本研究室では2020年前期（4月〜8月）に、機械学習の教科書の決定版ともいえる、**Christopher Bishop**による**『Pattern Recognition and Machine Learning （パターン認識と機械学習）』**、通称**PRML**に関する輪読会を開講しました。本輪読会では、PRMLの各章の末尾に付いている**演習問題**を、輪読会参加者の有志が解く、ということも行いました。ここでは、各人による演習問題の解答例を`Qiita`の記事として紹介していこうと思います。
（追記：**2021年度後期**も輪読会を開催し、第1章から勉強しています。昨年度できなかった演習問題は随時更新予定です。）

本記事では、**第7章の演習問題の解答例**に関する記事のリンクを紹介していきます。
まだ解いた全ての問題を公開しているわけではなく、随時更新していきます。**更新内容などについては、[`Twitter`](https://twitter.com/BiometUt)にてご報告**する予定です。

（注：解答例は、数学の決して得意ではない学生によるものもあります。中には間違いや不十分な解答もあるかもしれませんが、温かい目で見ていただき、コメントで誤りなどを指摘していただければ幸いです。また、**全ての問題に対して解答例が用意されているわけではない**ので、その点についてもご了承ください。）


## 関連記事など
#### 別の章に関するリンク集　
- [PRML　演習問題　解答集　まとめ](https://qiita.com/Lab_of_Biomet/items/15e38ca34fafa8176d89)
- [PRML　演習問題　解答集　第6章](https://qiita.com/Lab_of_Biomet/items/22d998f9722e3841c000)
- [PRML　演習問題　解答集　第8章](https://qiita.com/Lab_of_Biomet/items/59375f9acb7fa99f6b35)

#### PRML 公式資料
- [PRML 一式 ダウンロードページ （公式）](https://www.microsoft.com/en-us/research/people/cmbishop/prml-book/)
- [PRML 英語版 フルPDF （公式・無料）](https://www.microsoft.com/en-us/research/uploads/prod/2006/01/Bishop-Pattern-Recognition-and-Machine-Learning-2006.pdf)
- [PRML 日本語訳 上巻 （Amazon）](https://www.amazon.co.jp/%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3%E8%AA%8D%E8%AD%98%E3%81%A8%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92-%E4%B8%8A-C-M-%E3%83%93%E3%82%B7%E3%83%A7%E3%83%83%E3%83%97/dp/4621061224)
- [PRML 日本語訳 下巻 （Amazon）](https://www.amazon.co.jp/%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3%E8%AA%8D%E8%AD%98%E3%81%A8%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92-%E4%B8%8B-%E3%83%99%E3%82%A4%E3%82%BA%E7%90%86%E8%AB%96%E3%81%AB%E3%82%88%E3%82%8B%E7%B5%B1%E8%A8%88%E7%9A%84%E4%BA%88%E6%B8%AC-C-M-%E3%83%93%E3%82%B7%E3%83%A7%E3%83%83%E3%83%97/dp/4621061240)
- [PRML 英語版 公式解答例 （wwwの付いた一部の問題）](https://www.microsoft.com/en-us/research/wp-content/uploads/2016/05/prml-web-sol-2009-09-08.pdf)

#### PRML 非公式資料
- [PRML演習問題解答を全力で分かりやすく解説！](https://tips-memo.com/prml): この方は`PRML`の演習問題の数多く（ほとんど）の問題を、第1章から第10章まで手書きで公開しています。
- [PRML演習解答 [ゆっくり PRML していってね]](http://sioramen.sub.jp/prml_wiki/doku.php/top): この方は`PRML`の演習問題の数多く（ほとんど）の問題を、第5章から第14章まで、手書き、および一部清書した形で公開しています。
- [その他PRMLのタグがついたQiitaの記事一覧](https://qiita.com/tags/prml)

他にも、一部の記事でPRMLの演習問題の解答例に関する記事があるものの、どれも1問単位で解かれており、このようなLaTeXで数式を書いた解答例のリンク集は存在しないように見受けられます。


## 担当者
[東京大学 生物測定学研究室](https://www.ut-biomet.org/)の @YusukeToda1984 さん, @ZaKama さん, @patten さん, @Kazutoshi08 さん, @mashiro135 さんにご協力いただきました。また、他にも（生物測定学研究室以外の学生を含む）2名の有志が匿名で公開に協力してくださいました。こちらの2名の方の記事はこのアカウントの記事として投稿させていただいもののリンクを紹介したいと思います（当人の許可をとっています）。さらに第5章からは、@yoyoyo11131113 さんにもご協力いただけることになりました。


## 解答　リンク集
##### 演習問題 7.2 （基礎）
- [PRML　演習問題 7.2（基礎）　解答](https://qiita.com/Kazutoshi08/items/601046420b89df908d6c) （@Kazutoshi08 さん）

マージンを最大化するパラメータは制約式によらないことを示す問題です。

##### 演習問題 7.6 （基本）
- [PRML 演習問題 7.6 解答](https://qiita.com/mashiro135/items/35941b98d745b2cf8709) （@mashiro135 さん）

SVMとロジスティック回帰の関連性を誤差関数の観点から考える問題です

##### 演習問題 7.10 （標準）
- [PRML 演習問題7.10(標準) 解答](https://qiita.com/yoyoyo11131113/items/4d1c9be9487e8611a2ed) （@yoyoyo11131113 さん）

教科書7.2.1の回帰に対するRVMにおいて、ハイパーパラメータを決定するためにはエビデンス近似を行うことになります。その際に尤度関数を重みパラメータで積分する必要があるので、その計算をやってみます。

##### 演習問題 7.33 （標準）
- [PRML　演習問題 7.33（標準）　解答](https://qiita.com/ZaKama/items/78e39ce922ee44c64320) （@ZaKama さん）

本章で取り扱ってきたSVMの特徴であるマージン最大化について、データ集合が2点であるという最も単純な例について考えていく問題です。


## おわりに （宣伝）
いかがだったでしょうか。
こうした記事が、少しでも皆さんがPRMLの演習問題を解く上での理解の助けとなれば幸いです。
誤りなどありましたら、各演習問題に対する解答記事にてコメントなど残していただければと思います。

さて、生物測定学研究室では、農学という分野にいながら、このような機械学習の基礎から勉強しているほか、**プログラミング言語**（`Python`, `R`, `C++`, `Julia`など）を駆使して、**効率的なデータ取得や、品種改良の高速化**に取り組んでいます。興味がある方は、ぜひホームページから研究紹介動画を見ていただければと思います。`Twitter`もはじめました。

研究室ホームページ: [東京大学 生物測定学研究室](https://www.ut-biomet.org/)
研究紹介動画など （YouTube）: [東京大学 生物測定学研究室 YouTubeチャンネル](https://www.youtube.com/channel/UCa8nlyLG5sYSzOJinHgRgqw)
Twitterアカウント: [UT-Biomet (@BiometUt)](https://twitter.com/BiometUt)
Twitterサブアカウント: [東大・生測の日常。 (@BiometUtDiary)](https://twitter.com/BiometUtDiary) ←New!! (2021.10-)

## 更新歴
- **2021.11.16** : 本記事を投稿しました。