I 1931 var han sendt ut for å drepe Chiang Kai-shek, men mens han opptrådte i Wuhan den 24. april ble han gjenkjent av Kuomintangs hemmelige politi på grunnlag av et fotografi. Han ble arrestert, og ble etterhvert overtalt til å skifte side til Kuomintang. Hans sideskifte ble kjent for kommunistene på grunn av en godt plassert agent, og i siste liten fikk de bragt i sikkerhet svært mange av dem som de med rette fryktet Gu ville angi. De rakk også å hevne seg på Gu allerede før Kuomintang rakk å slå til i Shanghai, ved å henrette neste hele hans familiemedlemmer drept, sannsynligvis på Zhou Enlais ordre.