I 1914 døde faren, og Abing tok ansvaret for tempelet sammen med sin nevø. Men dårlig økonomistyring og opium drev Abing inn i fattigdommen. Da han var 34 fikk han syfilis og begynte å miste synet på begge øyne. Han ble uteligger og tjente til livets opphold som omflakkende gatemusikant. I 1939 giftet han seg med Dong Caidi (董彩娣), en enke fra Jiangyin på landet.