Poco se sabe de su vida temprana pues todo registro sobre él desaparece hasta 1180 cuando se sabe que sirvió para su hermano Yoritomo en Kamakura.