Yoritomo var nu Japans verklige beherskare.