Minamoto no Yoshitsune
menulis surat pernyataan yang ditujukan kepada Yoritomo bahwa dirinya tidak bermaksud memberontak. Surat ini nantinya terkenal sebagai Surat Koshigoe ("Koshigoe-j") dan dititipkannya kepada e no Hiromoto yang merupakan pengikut tepercaya Yoritomo. Surat bernada protes ini tidak ditanggapi Yoritomo.
Yoritomo memiliki sejumlah alasan untuk menyingkirkan Yoshitsune, termasuk kenaikan pangkat dan golongan yang diterima Yoshitsune dari kaisar tanpa persetujuan Yoritomo. Alasan lain adalah pertengkaran mengenai strategi sewaktu bertempur antara Yoshitsune dengan Kajiwara Kagetoki yang merupakan pengikut setia Yoritomo. Dalam persiapan menyerang posisi klan Taira, Yoshitsune
pernah berselisih dengan Kagetoki sehubungan dengan perintah penggunaan kapal perang. Kagetoki melaporkan kepada Yoritomo tentang perbuatan Yoshitsune yang dianggap melanggar disiplin militer dan menurunkan moral prajurit. Laporan Kagetoki memang selalu dipercaya Yoritomo.
Di lain pihak, rakyat sangat menyenangi Yoshitsune sebagai pahlawan yang berhasil menghancurkan klan Taira. Kepopuleran Yoshitsune di mata rakyat menyebabkan kedudukan Yoritomo sebagai pemimpin klan Minamoto menjadi terancam. Yoritomo begitu kesal karena dirinya sendiri tidak cukup diberi wewenang dari kaisar untuk memberi kenaikan pangkat dan golongan bagi para bawahan. Selain itu,
Surat Koshigoe yang ditulis Yoshitsune diperkirakan membuat kemarahan Yoritomo menjadi memuncak. Surat tersebut ditandatangani Yoshitsune sebagai "Minamoto no Yoshitsune", dan Yoritomo menganggap Yoshitsune memakai nama klan Minamoto untuk kepentingan pribadi. Pada waktu itu, Yoritomo memang baru saja mengeluarkan perintah tentang penggunaan nama keluarga Minamoto. Selain
itu, di dalam pemerintahan Yoritomo sedang berlangsung pemberian gelar dan jabatan berdasarkan jasa-jasa. Yoritomo memang bermaksud tidak mengizinkan Yoshitsune dan Noriyori untuk menggunakan nama keluaga Minamoto. Nama keluarga Minamoto hanya boleh dipakai Yoritomo sendiri, dan sebagian kecil penasehat senior yang masih kerabat dekat.
Sewaktu masih di Kamakura, Yoshitsune diberi peringatan oleh Yoritomo karena menerima kenaikan pangkat dari kaisar tanpa seizin Yoritomo. Yoritomo melarang Yoshitsune untuk kembali ke Kamakura dan wilayah kekuasaannya dirampas. Pada 9 Juni 1185, Yoshitsune diperintahkan untuk kembali ke Kyoto dengan membawa Taira no Shigehira, Taira no Munemori serta putranya
kembali ke Kyoto. Tentang kekecewaannya terhadap Yoritomo, Yoshitsune berpidato di hadapan para pasukan, "Untuk semua yang dendam dengan Yoritomo, kamu harus berpihak padaku." Ucapan Yoshitsune ini disampaikan ke Yoritomo yang menjadi berang dan langsung menyita semua wilayah kekuasaan Yoshitsune satu demi satu. Sementara itu, Yoritomo bertugas menghukum penggal
pasangan bapak-anak Taira no Munemori di Provinsi mi, dan mengirim Taira no Shigehira ke kuil Tdaiji yang dulu pernah dibakar Shigehira. Sekembalinya Yoshitsune di Kyoto, Yoritomo merasa perlu mengetahui kegiatan Yoshitsune yang waktu itu sedang berada di rumah kediaman bernama Rokujhorikawa. Pada bulan September 1185, Yoritomo mengutus Kajiwara Kagesue untuk menyelidiki
Yoshitsune. Seperti pernah dilakukan terhadap Minamoto no Yoshinaka, kali ini Yoritomo memerintahkan Yoshitsune untuk membunuh pamannya sendiri, Minamoto no Yukiie yang berpihak pada Yoshinaka. Yoshitsune menolak perintah Yoritomo karena sedang sakit karena terlalu lelah bertempur dan tidak mau membunuh sesama Minamoto.
Di bulan berikutnya (Oktober 1185), Yoritomo memutuskan untuk menghabisi Yoshitsune. Yoritomo mengirim prajuritnya yang bernama Tosanob Shshun ke Kyoto. Pada 17 Oktober 1185, Tosanob Shshun dan sekitar 60 prajurit berkuda datang menyerbu ke rumah kediaman Yoshitsune di Horikawa. Minamoto no Yukiie yang berpihak pada Yoshitsune sudah menantikan kedatangan mereka dan penyerbuan
berakhir dengan kekalahan pihak penyerang. Tosanob Shshun malah berhasil ditawan dan mengaku bahwa mereka hanya menjalankan perintah Yoritomo. Sementara itu, sang paman, Minamoto no Yukiie dan pengikutnya juga ikut menyatakan perang untuk menggulingkan Yoritomo. Yukiie dan pengikutnya sekali lagi berhasil mendapat restu dari Kaisar Go-Shirakawa untuk menyingkirkan Yoritomo.
Tanggal 24 Oktober 1185 ternyata bertepatan dengan upacara agama Buddha ("Hy") untuk memperingati hari meninggalnya ayah Yoritomo dan Yoshitsune. Pengikut klan Minamoto banyak yang berkumpul di kediaman Yoritomo di Kamakura untuk mengikuti upacara, dan sangat sedikit pengikut Yukiie yang setuju dengan rencana penyerangan terhadap Yoritomo. Keadaan makin bertambah buruk karena setelah itu kaisar mengeluarkan perintah untuk membunuh Yoshitsune.
Pada 29 Oktober 1185, Yoritomo memimpin pasukan untuk menghabisi Yoshitsune. Setelah mendengar rencana penyerangan pasukan Yoritomo, Yoshitsune merencanakan pergi ke Kyushu dan menggalang kekuatan di sana. Ketika pasukan Yoritomo sudah menyeberangi Sungai Kisegawa di Provinsi Suruga pada 1 November 1185, Yoshitsune dan pasukan meninggalkan Kyoto untuk bergabung dengan klan Kikuchi di Kyushu. Armada kapal
Yoshitsune berangkat menuju Kyushu dari Pelabuhan monoura, Provinsi Settsu (sekarang kota Amagasaki). Di tengah perjalanan, kapal-kapal Yoshitsune tenggelam dihantam badai. Kapal-kapal yang tersisa terpaksa kembali di Provinsi Settsu dan rencana melarikan diri ke Kyushu menjadi batal. Sementara itu, Kaisar Goshirakawa pada 11 November 1185 mengeluarkan perintah penangkapan atas Yoshitsune dan
Yukiie dan keduanya dalam status buron di semua provinsi. Keinginan Yoritomo untuk menangkap Yoshitsune begitu besar hingga mengutus Hj Tokimasa ke Kyoto untuk berunding supaya diberi kekuasaan untuk mengerahkan semua "shugo" dan "jit" di semua provinsi untuk menangkap Yoshitsune.
Yoshitsune dan pengikutnya semakin terdesak, dan bersembunyi di kuil di Pegunungan Yoshino bersama selirnya, Shizuka Gozen. Tempat persembunyian mereka berhasil diketahui dan Yoshitsune diserang. Penyerbuan ini berakibat pada tertangkapnya Shizuka Gozen, namun Yoshitsune berhasil melarikan diri dan meminta perlindungan kepada Fujiwara no Hidehira. Sebagai buronan, Yoshitsune
berhasil lepas dari berbagai usaha penangkapan. Yoshitsune meneruskan perjalanan hingga sampai di Provinsi Mutsu dan bersembunyi di Hiraizumi. Menurut legenda, perjalanan Yoshitsune dan pengikutnya menuju Provinsi Mutsu dilakukannya lewat rute Hokurikud (pulau Honshu sisi Laut Jepang) sambil menyamar di antara rombongan Yamabushi yang meminta sumbangan bagi pembangunan kembali kuil Tdaiji.
Fujiwara no Hidehira kuatir dengan kekuatan militer Yoritomo yang terus bergerak ke arah barat Kanto sampai ke Provinsi Mutsu dengan alasan untuk menghabisi Yoshitsune. Hidehira bermaksud menjadikan Yoshitsune sebagai shogun untuk menumbangkan pemerintah Kamakura pimpinan Yoritomo, tapi tidak sempat karena lebih dulu meninggal pada 29 Oktober 1187. Putra pewaris Hidehira, Fujiwara no
Yasuhira berhasil ditekan Yoritomo untuk mau bekerja sama menghabisi Yoshitsune. Yasuhira melanggar wasiat sang ayah agar melindungi Yoshitsune dan membunuh adiknya sendiri, Fujiwara no Yorihira yang merupakan sahabat dekat dan pelindung Yoshitsune. Cerita lain mengatakan bukan Fujiwara no Yorihira yang dibunuh, melainkan Fujiwara no Tadahira. Pada 30 April 1189, sekitar 500 pasukan
berkuda menyerang Yoshitsune yang hanya dilindungi belasan pasukan berkuda. Pada waktu diserang, Yoshitsune sedang berada di tempat bernama Koromogawa no tachi yang merupakan wilayah Fujiwara no Motonari (sekarang tempat ini disebut kota sh). Dalam keadaan terkepung pasukan Hidehira, Yoshitsune sama sekali tidak berniat melawan, dan malah mengunci diri di ruang altar keluarga
("jibutsud"). Setelah membunuh istri dan anak perempuannya yang masih berusia 4 tahun, Yoshitsune bunuh diri. Yoshitsune meninggal di usia 31 tahun.