Su arquitecto Philibert de l'Orme comenzó el proyecto, y fue reemplazado tras su muerte en 1570 por Jean Bullant.