Fernandez kom fra en familie av indisk opprinnelse. Etter skolegang i Taiping og i Sungai Petani var han sykepleier i ti år. I 1958 trådte han inn i presteseminaset St. Francis Xavier i Singapore og fullførte prestestudiene ved presteseminaret i Penang.