大都均不回自己的住宅，而是先住在寺院内，待复命之后才回住宅。所以可能是托克托丞相当时常借住在北崇国寺，时间一长便被误认为此处是其住宅。明朝明成祖永乐三年，西域僧人桑渴巴辣（中天竺人）随贡使航行至南京，永乐十四年奉旨移驻北崇国寺，教内监学习番语。明宣宗宣德年间，北崇国寺对建筑进行了翻新，宣德四年（1429年）赐名大隆善寺。明英宗正统元年（1436年），太监阮文等人兴建了后殿山门、廊房、方丈。正统四年（1439年），改称崇恩寺。天顺年间，寺院建筑部分坍塌。明宪宗成化七年（1471年），明宪宗命太监黄顺、工部