最主要支持者的孝谦天皇在宫廷斗争中失势，被迫传位给淳仁天皇。鉴真也随之遭受到排挤。758年，淳仁天皇下旨，以“政事烦躁，不敢劳老”为由，解除了鉴真大僧都一职，并将在宫廷斗争中败死的原皇太子道祖王的官邸赐给鉴真。次年，鉴真弟子在该官邸草成一寺，淳仁赐名“唐招提寺”，鉴真从东大寺迁居至此。淳仁还下旨，令日本僧人在受戒之前必须前往唐招提寺学习，使得唐招提寺成为当时日本佛教徒的最高学府。763年（唐代宗广德元年、淳仁天皇天平宝字七年）5月6日，鉴真在唐招提寺圆寂，入灭之前，其弟子为鉴真膜影，立夹漆像，传世至今。