建四年（572年），早年丧母，事父至孝。学通《三礼》、《史记》、《汉书》。隋大业年间，为司隷从事。入唐后，由大理卿郎颖（字楚之）推荐，擢拔为詹事府主簿。预修六代史。贞观年间，他与令狐德棻、袁朗等十多人一同编修《艺文类聚》。自太子舍人转为吏部员外郎，迁国子博士、检校吏部郎中，寻为越王府长史兼检校吏部侍郎。遂转黄门侍郎，兼弘文馆学士。以病外任莱州刺史。他对待兄长赵弘安如同对待父亲一样，将自己的俸禄全部交给他，赵弘安死后，又恭谨侍奉寡嫂，对侄子以慈爱着称。后迁任太子李承干的右庶子，李承干被废黜