五年四月二十七日，永琪迁进了紫禁城兆祥所。《国朝宫史续编》记载，干隆三十一年二月初五日，“总管王常贵奉谕旨：朕于初三日至兆祥所，看视五阿哥病症。”即干隆帝亲自来兆祥所看望患病的五阿哥永琪。同年三月初八日，永琪病逝。后来，兆祥所在干隆年间被拆除，又在宁寿宫垣以北兴建了一座新的兆祥所，规模很小，保存至今。干隆年间编纂的《日下旧闻考·卷十八》记载，“景福宫之后为兆祥所，今为皇子所居。西为花园，又西即神武门也。（《国朝宫史》）【臣等谨按】今新葺，规制兆祥所在宁寿宫垣之后，《国朝宫史》所称乃旧制也。” 201