પિતા સીતારામ સુબ્રમણિયનની જેમ સુબ્રમણિયન પણ ગણિતમાં ખૂબ જ વિદ્વાન. પિતા સેન્ટ્રલ સ્ટેસ્ટિકલ ઇન્સ્ટિટ્યૂટના ડિરેક્ટર હતા. નોકરીના કારણે તેઓ ચેન્નાઈથી દિલ્લી આવી ગયેલા. સુબ્રમણિયન સ્વામી (સ્વામી વકીલ પણ હોવાથી વકીલની ભાષામાં એક ચોખવટ-હવે આપણે તેમના લાંબા આખા નામના બદલે સ્વામી જ લખીશું) ભણ્યા દિલ્લીમાં. તેમણે દિલ્લી યુનિવર્સિટી અંતર્ગત હિન્દુ કૉલેજમાંથી ગણિતમાં બી.એ. (હૉનરરી) ડિગ્રી મેળવી. તેઓ ત્રીજા ક્રમે આવ્યા હતા. અનુસ્નાતકનું ભણવા તેઓ કોલકાતા ગયેલા. સ્વામીને દુશ્મનોનો પનારો ત્યારથી જ પડેલો. એટલે જ કદાચ સ્વામીનો સ્વભાવ દુશ્મનોને માફ નહીં કરવાનો બની ગયો હશે.