舒翰家富于财，倜傥任侠，好然诺，纵蒲酒。哥舒翰初为陇右节度使王忠嗣幕府将，能读《左氏春秋》、《汉书》，颇得士兵拥戴。天宝六年（747年），王忠嗣提拔哥舒翰为大斗军副使，迁左卫郎将。天宝年间与吐蕃战于苦拔海，屡破吐蕃，擢授右武卫员外将军。王忠嗣为宰相李林甫所忌，故诬陷王忠嗣“欲奉太子”，玄宗以哥舒翰取代王忠嗣。朝廷对忠嗣严加审讯，打算处以极刑。哥舒翰闻知后，极言王忠嗣无罪，请求用自己的官爵来赎王忠嗣的罪，玄宗不听，走入内宫，哥舒翰一路追随，「言词慷慨，声泪俱下」，玄宗深受感动，遂贬忠嗣为汉阳（今湖北）太守