સુબ્રહ્મણ્યમ સ્વામીનો જન્મ ૧૯૩૯માં ચેન્નઈના માયલાપોરમાં ટેમ-બ્રાહ્મ કહેવાતા તામિલ બ્રાહ્મણ પરિવારમાં થયેલો. આ જ કારણથી તેમનું ટ્વિટર-હૅન્ડલ પણ swamy39 છે. તેમના પિતા સીતારામ સુબ્રહ્મણ્યમ ઇન્ડિયન સ્ટૅટિસ્ટિકલ સર્વિસના પાસઆઉટ અને સેન્ટ્રલ સ્ટૅટિસ્ટિકલ ઇન્સ્ટિટ્યૂટના ડિરેક્ટર રહી ચૂક્યા હતા. જોકે સ્વામી માત્ર છ મહિનાના હતા ત્યારે જ તેમનો પરિવાર દિલ્હી સ્થાયી થઈ ગયેલો. પિતા ઊંચા દરજ્જાના બ્યુરોક્રેટ હોવાને કારણે કે. કામરાજ, સી. રાજગોપાલાચારી જેવા અગ્રણી રાજકીય નેતાઓની તેમના ઘરે આવ-જા રહેતી.