Más poeta que guerrero, Yorimasa se esforzó a lo largo de su vida en mantenerse al margen de las luchas que opusieron durante décadas a los clanes Minamoto y Taira, y evitó elegir bando, llegando incluso a ser amigo de Taira no Kiyomori.