西晋高僧慧达，本名刘萨诃。关于建寺有两种说法，第一种说法称慧达寻找舍利时，行至鄮山乌石岙内，听闻地下有声，便在此结庐诵经，三日后舍利宝塔从山中涌出，慧达在此建寺供养。另一种说法则出自慧皎《高僧传》，指舍利宝塔为慧达发现残塔中有光芒闪烁，此后请人挖掘而得。刘宋元嘉二年（425年），宋文帝赐寺院寺田并增广寺舍。南梁普通三年（522年），梁武帝命扩建殿堂房屋，因传说舍利为阿育王送来，因而赐额“阿育王寺”，由萧子云题字，座山也因寺得名。大同六年（540年），扩建储藏舍利塔的木浮屠，将武帝及昭明太子萧统像也藏于塔中，