高宗妻武太后（后史称武则天）为儿子唐中宗、唐睿宗摄政期间为宰相。刘从一祖父刘令植官至礼部侍郎，父刘孺之官至京兆府少尹。
唐代宗年间.刘从一年轻时中进士，唐代宗大历年间（766年—779年）中宏词，授秘书省校书郎，补渭南尉，为官员常衮所推重。十二年（777年），常衮为宰相，迁刘从一为监察御史。不久，刘从一因母去世而离职丁忧。
唐德宗年间.刘从一服丧期满后，皇帝已是唐德宗，最有权的宰相是卢杞。因卢杞举荐，刘从一被超迁为侍御史。数月后，因亲戚也做了御史，按亲戚避