Napoléon III fait construire pour le Prince impérial un réseau de chemin de fer de jardin dans le parc. Le château sera régulièrement utilisé pour accueillir des personnalités de haut rang, notamment des membres de familles royales européennes. La reine Victoria ainsi que son mari le prince Albert y séjournent lors de leur visite en France en 1855, à l'occasion de l'Exposition universelle de Paris.