Lee besuchte die Telok Kurau Grundschule, die Raffles Institution und das Raffles College. Sein Studium musste er 1942 bis 1945 wegen der japanischen Besetzung Singapurs unterbrechen. In dieser Zeit betrieb er Schwarzhandel mit Klebstoff aus Tapioka, der "Stifkas" genannt wurde. Mit seinen Kenntnissen der englischen, chinesischen und japanischen Sprache, die er 1942 gelernt hatte, transkribierte er von 1943 bis 1944 alliierte Funksprüche für die Japaner.