Nathan er av tamilsk avstamning. Mye av hans barndom ble tilbrakt sammen med hans tre eldre søstre og deres foreldre, V. Sellapan og Apiram, i hjembyen Muar i Johor i Malaysia, i et hus med utsikt over havet. Hans far jobbet som advokat for et firma som betjente flere plantasjer som utvant gummi. Den store depresjonen og nedgangen i salget av gummi på 1930-tallet gjorde at mye av familiens formue forsvant og økonomien brøt sammen.