Na zijn spelerscarrière werd hij coach en trainde verschillende Chinese clubs. Van 2009 tot 2011 was hij bondscoach van China en begeleidde het team tijdens het Aziatisch kampioenschap voetbal 2011. In september 2015 werd hij in China gepresenteerd als assistent-trainer bij ADO Den Haag maar fungeerde, omdat hij geen werkvergunning had, als stagiair of adviseur. In december 2015 keerde hij terug naar China. In februari 2016 werd Gao aangesteld als bondscoach van China voor de kwalificatie voor het wereldkampioenschap voetbal 2018. Hij stapte in oktober 2016 op. In april 2017 werd hij aangesteld als trainer van Beijing BG dat uitkomt in de Jia League.