Jabarkan Pertikaian dengan Yoritomo dari Minamoto no Yoshitsune

Setelah menghancurkan klan Taira, Yoshitsune berselisih dengan kakaknya sendiri. Keinginan Yoshitsune untuk berdiri sendiri tidak terkabulkan dan malah menjadi musuh kaisar dan menjadi buronan di seluruh negeri.

Pada 15 April 1185, Yoritomo merasa tidak senang kaisar mengangkat kelompok samurai dari Kanto tanpa rekomendasi informal darinya lebih dulu. Yoritomo memerintahkan kelompok samurai tersebut untuk tetap berada di Heian-kyo, dan mengabaikan perintah kembali ke wilayah Kanto. Pada bulan yang sama, saingan Yoshitsune sekaligus perwira bekas pendamping Yoshitsune, Kajiwara Kegetoki mengirim surat kepada Yoritomo. Di dalam surat ini, Kagetoki menulis bahwa Yoshitsune telah berlagak sebagai satu-satunya pahlawan yang berjasa dalam menghancurkan klan Taira. Sementara itu, Yoshitsune tidak mengindahkan perintah Yoritomo dan tetap membawa Taira no Munemori dan putranya sebagai tawanan ke Kamakura. Yoshitsune berangkat dari Heian-kyo menuju Kamakura pada 7 Mei 1185. Sesampainya Yoshitsune di Kamakura, Yoritomo secara terang-terangan tidak mengizinkannya memasuki kota. Yoshitsune waktu itu dipaksa menunggu di kuil Manpuku-ji yang ada di Koshigoe, pinggiran kota Kamakura, dan hanya para tawanan saja yang diizinkan masuk kota. Pada 24 Mei 1185, Yoshitsune menulis surat pernyataan yang ditujukan kepada Yoritomo bahwa dirinya tidak bermaksud memberontak. Surat ini nantinya terkenal sebagai Surat Koshigoe (Koshigoe-jō) dan dititipkannya kepada Ōe no Hiromoto yang merupakan pengikut tepercaya Yoritomo. Surat bernada protes ini tidak ditanggapi Yoritomo.

Yoritomo memiliki sejumlah alasan untuk menyingkirkan Yoshitsune, termasuk kenaikan pangkat dan golongan yang diterima Yoshitsune dari kaisar tanpa persetujuan Yoritomo. Alasan lain adalah pertengkaran mengenai strategi sewaktu bertempur antara Yoshitsune dengan Kajiwara Kagetoki yang merupakan pengikut setia Yoritomo. Dalam persiapan menyerang posisi klan Taira, Yoshitsune pernah berselisih dengan Kagetoki sehubungan dengan perintah penggunaan kapal perang. Kagetoki melaporkan kepada Yoritomo tentang perbuatan Yoshitsune yang dianggap melanggar disiplin militer dan menurunkan moral prajurit. Laporan Kagetoki memang selalu dipercaya Yoritomo.

Di lain pihak, rakyat sangat menyenangi Yoshitsune sebagai pahlawan yang berhasil menghancurkan klan Taira. Kepopuleran Yoshitsune di mata rakyat menyebabkan kedudukan Yoritomo sebagai pemimpin klan Minamoto menjadi terancam. Yoritomo begitu kesal karena dirinya sendiri tidak cukup diberi wewenang dari kaisar untuk memberi kenaikan pangkat dan golongan bagi para bawahan. Selain itu, Surat Koshigoe yang ditulis Yoshitsune diperkirakan membuat kemarahan Yoritomo menjadi memuncak. Surat tersebut ditandatangani Yoshitsune sebagai "Minamoto no Yoshitsune", dan Yoritomo menganggap Yoshitsune memakai nama klan Minamoto untuk kepentingan pribadi. Pada waktu itu, Yoritomo memang baru saja mengeluarkan perintah tentang penggunaan nama keluarga Minamoto. Selain itu, di dalam pemerintahan Yoritomo sedang berlangsung pemberian gelar dan jabatan berdasarkan jasa-jasa. Yoritomo memang bermaksud tidak mengizinkan Yoshitsune dan Noriyori untuk menggunakan nama keluaga Minamoto. Nama keluarga Minamoto hanya boleh dipakai Yoritomo sendiri, dan sebagian kecil penasehat senior yang masih kerabat dekat.

Sewaktu masih di Kamakura, Yoshitsune diberi peringatan oleh Yoritomo karena menerima kenaikan pangkat dari kaisar tanpa seizin Yoritomo. Yoritomo melarang Yoshitsune untuk kembali ke Kamakura dan wilayah kekuasaannya dirampas. Pada 9 Juni 1185, Yoshitsune diperintahkan untuk kembali ke Kyoto dengan membawa Taira no Shigehira, Taira no Munemori serta putranya kembali ke Kyoto. Tentang kekecewaannya terhadap Yoritomo, Yoshitsune berpidato di hadapan para pasukan, "Untuk semua yang dendam dengan Yoritomo, kamu harus berpihak padaku." Ucapan Yoshitsune ini disampaikan ke Yoritomo yang menjadi berang dan langsung menyita semua wilayah kekuasaan Yoshitsune satu demi satu. Sementara itu, Yoritomo bertugas menghukum penggal pasangan bapak-anak Taira no Munemori di Provinsi Ōmi, dan mengirim Taira no Shigehira ke kuil Tōdaiji yang dulu pernah dibakar Shigehira. Sekembalinya Yoshitsune di Kyoto, Yoritomo merasa perlu mengetahui kegiatan Yoshitsune yang waktu itu sedang berada di rumah kediaman bernama Rokujōhorikawa. Pada bulan September 1185, Yoritomo mengutus Kajiwara Kagesue untuk menyelidiki Yoshitsune. Seperti pernah dilakukan terhadap Minamoto no Yoshinaka, kali ini Yoritomo memerintahkan Yoshitsune untuk membunuh pamannya sendiri, Minamoto no Yukiie yang berpihak pada Yoshinaka. Yoshitsune menolak perintah Yoritomo karena sedang sakit karena terlalu lelah bertempur dan tidak mau membunuh sesama Minamoto.