Xiangs ekstravagante liv varte ikke lenge. Med arrestasjonen og den påfølgende politiske sideskiftet i 1931 av en av Zhous nærmeste underordnede, Gu Shunzhang, som var Partiets sikkerhetssjef, ble Xiang angitt. Han ble arrestert den 21. juni 1931 i den juvelerforretning han benyttet som front i den franske konsesjon. Xiang ble arrestert sammen med sin elskerinne, Yang Xiuzhen, en kabaretdanserinne fra en av Shanghais nattklubber.