转黄门侍郎，兼弘文馆学士。以病外任莱州刺史。他对待兄长赵弘安如同对待父亲一样，将自己的俸禄全部交给他，赵弘安死后，又恭谨侍奉寡嫂，对侄子以慈爱着称。后迁任太子李承干的右庶子，李承干被废黜后，坐除名。不久起复为光州刺史。唐高宗即位后，任陈王师。高宗令弘智于百福殿讲《孝经》，召集中书门下三品及弘文馆学士、太学儒者听讲，轻松回答学士们的问难。高宗很高兴，赐给他彩绢二百匹、名马一匹。不久升迁国子祭酒，仍为崇贤馆学士。永徽四年（653年）卒，年八十二岁，谥曰宣。有文集二十卷。