该庙始建于干隆三十二年（1767年）三月，于干隆三十六年（1771年）八月竣工。这座庙宇是干隆为了干隆三十六年母亲崇庆皇太后八十寿辰而建，干隆在庙中立御制碑《普陀宗乘之庙碑》纪念。普陀宗乘之庙是“外八庙”中最辉煌、规模最大的庙。这座庙宇是仿照西藏拉萨的布达拉宫而建，因而又俗称“小布达拉宫”，“普陀宗乘”（借译）和“布达拉”（音译）语出同源，意为“观音圣地”。干隆帝《普陀宗乘之庙碑记》记述，南海大士的普陀道场有三个，一个在印度（南海普陀寺），一个在西藏（布达拉宫），一个在浙江定海（普陀山）。干隆帝本想仿照