Miguel de Cervantes plasmó en la segunda parte de su Universal "Don Quijote de la Mancha" sus recuerdos, en pluma, de su estancia en este palacio, en esta Villa, y que han quedado para la historia, como son la Ínsula Barataria (en la cercana Alcalá), o "Bonavía a tiro de piedra del Palacio ducal".