Con el nombre de Castillo de Miravalle en esta etapa el palacio comenzó a adquirir una imagen moderna, cuando a la llegada del emperador Maximiliano de Habsburgo, Maximiliano I de México, y su esposa la emperatriz Carlota en 1864 decidieron establecer ahí su residencia oficial.