Han dro så til Japan, der han bodde fra 1902 til 1909. Påvirket av sin fars skjebne begynte han først å studere moderne medisin ved universitetet i Sendai. Men han gikk så over til å studere litteratur, ettersom han anså at det var beste måte å «forandre sjeler» på. Han var hjemme i Kina i 1906 for å gifte seg med en ung pike som hans foreldre hadde valgt ut. Men han behandlet henne aldri som sin hustru. Han vendte tilbake til Japan sammen med sin bror Zhou Zuoren. Lu Xun arbeidet med oversettelser og skrev sine første essays på klassisk kinesisk.