Jabarkan Dalam pengasingan di Izu dari Minamoto no Yoritomo

Kehidupan Yoritomo di Izu diceritakan dalam Hikayat Soga. Sekitar tahun 1167, Yoritomo berada dalam pengasingan di bawah pengawasan Itō Sukechika. Di Izu, Yoritomo bertemu Toi no Sanehira, Amano Tōkage, dan Ōba Kageyoshi yang menjadi pengikutnya. Selama Itō Sukechika pergi ke Kyoto, Yoritomo berhubungan asmara dengan anak perempuan Sukechika hingga lahir anak bernama Sentsurumaru. Sepulangnya dari Kyoto, Sukechika dengan marah menenggelamkan Sentsurumaru di kolam, dan mengawinkan putrinya dengan Ema no Kojirō. Yoritomo dicari untuk dibunuh, namun melarikan diri dan berlindung kepada Hōjō Tokimasa.

Selama dilindungi Hōjō Tokimasa, Yoritomo kembali jatuh cinta dengan anak perempuan Tokimasa, Hōjō Masako yang berusia 21 tahun. Hubungannya dengan Masako tidak disetujui Tokimasa yang berjanji mengawinkan putrinya dengan Taira no Kanetaka. Masako dikirim ke kediaman Kanetaka untuk diperistri, tetapi melarikan diri dan menikah dengan Yoritomo.