杨延祚收为第六个养子。成年后成为唐代宗宠信宦官刘清潭心腹，授文林郎、掖庭局监作之职，后改任内谒者。广德元年(公元763年)，吐蕃攻入长安，杨志廉跟随唐代宗出奔陕州，因从驾有功，转任奚官令（掌奚隶工役、宫官品命）。大历年间，唐代宗派他与刘清潭抚谕田承嗣、李正己等藩镇，逐渐升任至内侍伯。建中四年(公元783年)，唐德宗下诏令泾原节度使姚令言率泾原军救援讨伐李希烈叛军的哥舒曜，泾原军出京城至浐水时，倒戈谋叛，乱兵聚集于丹凤阙下，唐德宗与太子、诸王、妃主百余人出苑北门，由右龙武军使令狐建召集射手四百人护驾，逃到