Durante el reinado de Juan I, el arzobispo de Toledo Pedro Tenorio, señor de la villa de Alcolea, solicitó del rey el privilegio de franqueza para una pequeña parte de Alcolea, lugar en el que ordenó que se le construyese un palacio a las orillas del río Tajo.