På grunn av hans hissige temperament ville ikke hans far at han skulle gå inn i embedsverket, og forbød ham å ta sivileksamenene. Hans store interesse var likevel politikk. I juni 1637, da han oppholdt seg i Beijing, sendte han et memorandum til Ming-keiseren Zhu Youjian (朱由撿) der han anklaget to embedsmenn for korrupsjon og inkompetanse. En av de to var keiserens favoritt, storsekretær Wen Tiren (溫體仁). Da det gikk opp for Yang at han kunne risikere dødsstraff dersom han ikke vant frem med anklagene, hadde han alltid med seg sin likkiste hvor enn han ferdes. Han berget livet, men ble pisket og forvist til Liaodong, der han bodde til etter at Ming-dynastiet var falt i 1644. Deretter bodde han antagelig i Nanjing.