至德二年（757年），家乡范阳被叛军燕军占领，随后又被唐肃宗收复。刘济至少有两个弟弟刘澭和刘源，其中刘澭与他异母。广德元年（763年），燕军败亡，范阳被改名为卢龙，名义上重归朝廷，实则先后被李怀仙、朱希彩割据。大历七年（772年），朱希彩被杀，刘怦的表弟朱泚取而代之，刘怦先后在朱泚和其弟朱滔帐下效力。刘济出生时，其母难产，生下来后，侍者初见他是一条大蛇，黑气勃勃，都惊逃。长大后，也和一般儿童很不一样。所住的房子着火了，人们都惊慌救火，刘济却从容而出，众人异之。刘济年轻时曾去长安，中进士。累历卢龙军州