Lee ble født i en hakka-familie i 1923 da Taiwan var en japansk koloni, var sønn av en politimann, og han fikk hele sin utdannelse i japanskspråklige skoler. I en periode het han (japansk: 岩里政男; var etternavnet). Lee fikk stipend til å studere ved det keiserlige universitet i Kyoto, men avbrøt studiene i 1944 for å tjenestegjøre i den keiserlige japanske flåte under andre verdenskrig. Lee forble i Japan etter krigsslutt og tok til slutt sin eksamen ved Universitetet i Kyoto i 1946.