El hecho histórico más destacado acaecido en este edificio fue el nacimiento el 22 de mayo de 1777 de Luis María de Borbón, primogénito del infante Luis Antonio de Borbón y Farnesio y nieto de Felipe V, que llegó a ser Arzobispo de Toledo y Primado de España.