Jabarkan Pemberontakan dari Minamoto no Yoshitsune

Di bulan berikutnya (Oktober 1185), Yoritomo memutuskan untuk menghabisi Yoshitsune. Yoritomo mengirim prajuritnya yang bernama Tosanobō Shōshun ke Kyoto. Pada 17 Oktober 1185, Tosanobō Shōshun dan sekitar 60 prajurit berkuda datang menyerbu ke rumah kediaman Yoshitsune di Horikawa. Minamoto no Yukiie yang berpihak pada Yoshitsune sudah menantikan kedatangan mereka dan penyerbuan berakhir dengan kekalahan pihak penyerang. Tosanobō Shōshun malah berhasil ditawan dan mengaku bahwa mereka hanya menjalankan perintah Yoritomo. Sementara itu, sang paman, Minamoto no Yukiie dan pengikutnya juga ikut menyatakan perang untuk menggulingkan Yoritomo. Yukiie dan pengikutnya sekali lagi berhasil mendapat restu dari Kaisar Go-Shirakawa untuk menyingkirkan Yoritomo. Tanggal 24 Oktober 1185 ternyata bertepatan dengan upacara agama Buddha (Hōyō) untuk memperingati hari meninggalnya ayah Yoritomo dan Yoshitsune. Pengikut klan Minamoto banyak yang berkumpul di kediaman Yoritomo di Kamakura untuk mengikuti upacara, dan sangat sedikit pengikut Yukiie yang setuju dengan rencana penyerangan terhadap Yoritomo. Keadaan makin bertambah buruk karena setelah itu kaisar mengeluarkan perintah untuk membunuh Yoshitsune.

Pada 29 Oktober 1185, Yoritomo memimpin pasukan untuk menghabisi Yoshitsune. Setelah mendengar rencana penyerangan pasukan Yoritomo, Yoshitsune merencanakan pergi ke Kyushu dan menggalang kekuatan di sana. Ketika pasukan Yoritomo sudah menyeberangi Sungai Kisegawa di Provinsi Suruga pada 1 November 1185, Yoshitsune dan pasukan meninggalkan Kyoto untuk bergabung dengan klan Kikuchi di Kyushu. Armada kapal Yoshitsune berangkat menuju Kyushu dari Pelabuhan Ōmonoura, Provinsi Settsu (sekarang kota Amagasaki). Di tengah perjalanan, kapal-kapal Yoshitsune tenggelam dihantam badai. Kapal-kapal yang tersisa terpaksa kembali di Provinsi Settsu dan rencana melarikan diri ke Kyushu menjadi batal. Sementara itu, Kaisar Goshirakawa pada 11 November 1185 mengeluarkan perintah penangkapan atas Yoshitsune dan Yukiie dan keduanya dalam status buron di semua provinsi. Keinginan Yoritomo untuk menangkap Yoshitsune begitu besar hingga mengutus Hōjō Tokimasa ke Kyoto untuk berunding supaya diberi kekuasaan untuk mengerahkan semua shugo dan jitō di semua provinsi untuk menangkap Yoshitsune.

Yoshitsune dan pengikutnya semakin terdesak, dan bersembunyi di kuil di Pegunungan Yoshino bersama selirnya, Shizuka Gozen. Tempat persembunyian mereka berhasil diketahui dan Yoshitsune diserang. Penyerbuan ini berakibat pada tertangkapnya Shizuka Gozen, namun Yoshitsune berhasil melarikan diri dan meminta perlindungan kepada Fujiwara no Hidehira. Sebagai buronan, Yoshitsune berhasil lepas dari berbagai usaha penangkapan. Yoshitsune meneruskan perjalanan hingga sampai di Provinsi Mutsu dan bersembunyi di Hiraizumi. Menurut legenda, perjalanan Yoshitsune dan pengikutnya menuju Provinsi Mutsu dilakukannya lewat rute Hokurikudō (pulau Honshu sisi Laut Jepang) sambil menyamar di antara rombongan Yamabushi yang meminta sumbangan bagi pembangunan kembali kuil Tōdaiji.