Existen datos de su existencia desde el año 1307, cuando eran sus propietarios la familia Gómez de Toledo y fue acondicionado como residencia por sus descendientes.