四月又在司列少常伯兼正谏大夫任上被授同东西台三品，为实质宰相。当时，右相许敬宗有权势，常对其他宰相有不当请托，赵仁本拒绝。咸亨元年（670年）十月，他在太子右中护任上被改任中台左丞、左肃机，罢相。咸亨（670年-674年）初年卒于任上。他的曾孙赵憬后在唐德宗年间拜相。唐德宗年间，赵仁本得以续图凌烟阁。