Vinculado desde sus orígenes al poderoso Arzobispado de Toledo, fue reformado y ampliado en varias ocasiones entre los siglos XIV y XV, junto con las torres del recinto amurallado en el que el castillo se integra.