父亲爵位长合乡侯，初仕朝廷任佐着作郎，后来时任辅国将军的桓温延请袁乔担任自己的司马。后袁乔曾获任命为司徒左西属，但袁乔不上任，后改拜尚书郎。建元元年（343年），桓温任徐州刺史，再请袁乔担任其司马，并让袁乔领广陵相。袁乔后随桓温移驻荆州，迁督沔中诸戍江夏随义阳三郡军事、建武将军、江夏相。永和二年（346年），桓温见成汉衰弱，决定要进攻蜀地以建功勋，于是率兵进攻。不过，就在桓温打算攻伐成汉时，很多人都认为这不可能成功，而袁乔则力劝桓温攻蜀，提议以精兵一万，轻军速进，待敌方发现时已经通过了其赖以为守的天险，