Vendargon ble født i Ceylon, men han og moren flyttet i 1910 til Britisk Malaya, hvor faren var landmåler. Etter utbruddet av Vendargon fra første verdenskrig vendte søsknene og moren hans tilbake til Ceylon. Etter krigen ble familien sammen med Vendargons far i Seremban i 1919. Familien flyttet til Malacca i 1923.