La leyenda cuenta que por una de las ventanas del palacio, de la que cuelga una cadena, fue sacado el rey Felipe II al nacer para que fuera bautizado en la Iglesia de San Pablo, pues de salir por la puerta del palacio debería haber sido bautizado en la cercana Parroquia de San Martín.