祖父杨茂，本是河东人，从汉光武帝征伐，为威寇将军，封乌伤新阳乡侯。建武年间就国，传封三世，有罪国除。父亲杨扶，交阯刺史，有治理之名。杨乔担任尚书，容貌仪态伟丽，多次上言政事，称：「臣伏念二千石，典牧千里。」杨乔曾经上书推荐孟尝。汉桓帝欣赏他的才貌，下诏把公主许配给他，杨乔推辞，桓帝不听，于是闭口不食，七日而死。其弟杨琁。