大历年间（766年—779年）中宏词，授秘书省校书郎，补渭南尉，为官员常衮所推重。十二年（777年），常衮为宰相，迁刘从一为监察御史。不久，刘从一因母去世而离职丁忧。
唐德宗年间.刘从一服丧期满后，皇帝已是唐德宗，最有权的宰相是卢杞。因卢杞举荐，刘从一被超迁为侍御史。数月后，因亲戚也做了御史，按亲戚避嫌的规定，他被除刑部员外郎。建中四年（783年），淮西节度使李希烈叛，德宗认为派去对抗李希烈的军队需要一位元帅统筹行动，以皇子普王李谊充讨伐李希烈的荆襄江西等道都元帅，刘从一得李谊表迁