Victor Asirvatham begann mit der Leichtathletik nachdem ihm 1948 ein Mitschüler sein Federmäppchen wegnahm und er diesen verfolgte. Bei den Olympischen Sommerspielen 1964 in Tokio schied er mit der malaysischen Staffel im Vorlauf des Wettkampfs über 4-mal 400 Meter aus. Vier Jahre später startete er bei seiner zweiten Olympiateilnahme in Mexiko-Stadt im Wettkampfs über 400 Meter. Doch auch hier kam der Malaysier nicht über den Vorlauf hinaus.