陈汤在待选期间父亲过世，按照律法，他应该回家奔丧。陈汤隐瞒了此消息，结果事情败露而下狱。出狱后，他被授予郎官闲职，多次请求出使西域，后于建昭三年（前36年）出任西域都护府副校尉。时匈奴郅支单于因为杀害汉使谷吉，为了防备汉朝出兵报复，率领部众向西迁居于康居，受到康居庇护。康居为借其威名称霸西域，屡借兵与其攻掠汉朝属国乌孙及大宛等。建昭三年秋，陈汤矫诏调发屯田兵士和西域各国军队共4万人远征郅支单于，胁迫上司西域都护府校尉甘延寿服从其事。大军既发，遂克郅支城（今哈萨克斯坦塔拉兹），全歼郅支单于及其本部部众