756年，鉴真被封为“大僧都”，统领日本所有僧尼，在日本建立了正规的戒律制度。然而，758年，作为鉴真最主要支持者的孝谦天皇在宫廷斗争中失势，被迫传位给淳仁天皇。鉴真也随之遭受到排挤。758年，淳仁天皇下旨，以“政事烦躁，不敢劳老”为由，解除了鉴真大僧都一职，并将在宫廷斗争中败死的原皇太子道祖王的官邸赐给鉴真。次年，鉴真弟子在该官邸草成一寺，淳仁赐名“唐招提寺”，鉴真从东大寺迁居至此。淳仁还下旨，令日本僧人在受戒之前必须前往唐招提寺学习，使得唐招提寺成为当时日本佛教徒的最高学府。763年（唐代宗广德元年