Se creyó en tiempos que Shimazu Tadahisa era un hijo ilegítimo de Yoritomo con la hermana de Hiki Yoshikazu, una historia que fue abandonada casi por completo a finales del Periodo Edo.