В 1927 году, после событий 12 апреля, он вместе с Чжоу Эньлаем стал активным участником подпольного коммунистического движения. В 1928 году VI съезд КПК постановил создать секретный (он же специальный) сектор ЦК, в его функции входила организация красного террора в контролируемых гоминьданом городах. Этот отдел и возглавил Гу Шуньчжан, он непосредственно отвечал за ликвидацию провокаторов, предателей и других врагов КПК, приговорённых ЦК к смерти. Кроме того функции секретного сектора включали шпионаж и охрану высшего партийного руководства. Последовательно сменив множество постов, он, наконец, стал главой службы безопасности китайского Политбюро. На самом деле его партийной работой было физическое истребления предателей КПК и именно благодаря этому он стал известен в партии.