刘林甫开始数代为官，曾伯祖刘祥道为唐高宗宰相，刘祥道子刘景先为唐高宗年间及高宗妻武太后（后史称武则天）为儿子唐中宗、唐睿宗摄政期间为宰相。刘从一祖父刘令植官至礼部侍郎，父刘孺之官至京兆府少尹。
唐代宗年间.刘从一年轻时中进士，唐代宗大历年间（766年—779年）中宏词，授秘书省校书郎，补渭南尉，为官员常衮所推重。十二年（777年），常衮为宰相，迁刘从一为监察御史。不久，刘从一因母去世而离职丁忧。
唐德宗年间.刘从一服丧期满后，皇帝已是唐德宗，最有权的宰相是