પિતા સીતારામ સુબ્રમણિયનની જેમ સુબ્રમણિયન પણ ગણિતમાં ખૂબ જ વિદ્વાન. પિતા સેન્ટ્રલ સ્ટેટેસ્ટિકલ ઇન્સ્ટિટ્યૂટના ડિરેક્ટર હતા. નોકરીના કારણે તેઓ ચેન્નાઈથી દિલ્લી આવી ગયેલા. સુબ્રમણિયન સ્વામી (સ્વામી વકીલ પણ હોવાથી વકીલની ભાષામાં એક ચોખવટ-હવે આપણે તેમના લાંબા આખા નામના બદલે સ્વામી જ લખીશું) ભણ્યા દિલ્લીમાં. તેમણે દિલ્લી યુનિવર્સિટી અંતર્ગત હિન્દુ કૉલેજમાંથી ગણિતમાં બી.એ. (ઑનરરી) ડિગ્રી મેળવી. તેઓ ત્રીજા ક્રમે આવ્યા હતા. અનુસ્નાતકનું ભણવા તેઓ કોલકાતા ગયેલા.