Yoshitomo se alió con Taira no Kiyomori en el bando del Emperador Go-Shirakawa y Fujiwara no Tadamichi, mientras que su padre Minamoto no Tameyoshi, jefe del clan, su hijo menor Minamoto no Tametomo y Taira no Tadamasa se unieron al bando del retirado Emperador Sutoku y Fujiwara no Yorinaga.