En 1747 Castiglione est nommé architecte et responsable de la conception d’un parc de 400 hectares et construction d’un nouveau palais impérial. Il est probable que Qianlong ait été influencé dans cette décision par des gravures reçues de France, car à cette période il était en contact avec le roi Louis XV. Un autre jésuite, le père Michel Benoist, spécialiste en hydraulique, est mis à contribution pour la construction des fontaines et des jets d’eau. Ce sera le fameux palais d'été, ou "Palais des délices de l’harmonie", dont la construction dura 10 ans (1747-1757) et qui sera détruit en 1861 par les troupes franco-britanniques lors de la Seconde guerre de l'opium.