Etter løslatelsen i 1906 dro Zhang i eksil i Japan, der han var medlem av de revolusjonære gruppene Tongmenghui og Guangfuhui og ble sjefredaktør for «Folkebladet» ( 民報), hovedorgan for Sun Yat-sens revolusjonære gruppe «De edsvornes forbund» (). Zhangs sterke nasjonalisme, kulturelle konservatisme og ukonvensjonelle syn på de kinesiske klassikere hadde en dyp påvirkning på blant annet Lu Xun og Sun Yat-sen.