曾祖父右屯为将军杨思训，袭爵，祖父左卫将军杨嘉本。他是杨慎交和唐中宗之女长宁公主所生。开元二十三年（735年）七月，武惠妃之女咸宜公主下嫁杨洄。杨洄为驸马都尉，是武惠妃之党。太子李瑛、鄂王李瑶、光王李琚因母亲相继失宠，对武惠妃不满，杨洄深知武惠妃想废太子李瑛，而立寿王李瑁的心思，为了私心利益，杨洄工于心计，他利用“姑舅之亲”的身份，主动接近太子和诸王，一面有意打听他们的些小过错，一面又对外将这些小事大加宣扬，杨洄常将太子等三人的过失告知丈母娘武惠妃和妻子咸宜公主，由她们去向玄宗吹风，离间父子之情，开元二十五