Gu Zhutong nacque nella Contea di Lianshui nel Jiangsu il 9 gennaio 1893 ed entrò nell'accademia militare all'età di 19 anni. Quando esplose la Rivoluzione Xinhai Gu si unì ai rivoluzionari. Nel 1912 entrò nel Partito nazionalista cinese e si iscrisse come candidato alla Scuola di ufficiali di riserva di Wuhan e quindi entrò all'Accademia militare di Baoding. Nel 1922 andò a Canton e divenne là ufficiale dello Stato della Seconda Armata Cantonese. Quando l'Accademia militare di Whampoa fu fondata nel 1924 divenne uno degli istruttori dell'Accademia. Quando il neonato Governo nazionalista lanciò una campagna contro un signore della guerra locale Gu divenne comandante di battaglione. Durante la Spedizione del Nord Gu fu promosso comandante di divisione e poi comandante di corpo. Nella Guerra delle Pianure centrali fu il comandante della 16ª Armata di terra e nel 1931 egli divenne il comandante della guarnigione di Nanchino, la capitale del governo nazionalista. Nel 1933 partecipò alle Campagne di accerchiamento anti-comuniste. Nel 1935 fu promosso generale e messo a capo di tre province sud-occidentali e nel frattempo era anche il comandante della provincia del Jiangsu. Dopo l'inizio della Seconda guerra sino-giapponese Gu fu nominato Comandante in Capo della terza zona di guerra e durante l'Incidente della Nuova Quarta Armata nel 1941 le unità nazionaliste sotto il suo comando distrussero alcuni contingenti di truppe comuniste e per questa azione Chiang Kai-shek lo decorò con l'Ordine del Cielo Blu e del Sole Bianco, il più alto onore per un comandante cinese.