અર્થશાસ્ત્રના સામાન્ય લોકો માટે બોરિંગ વિષયમાં ભણતાં-ભણતાં એક રસપ્રદ વાત એ થઈ કે હાર્વર્ડમાં જ સ્વામીની મુલાકાત રોક્સાના નામની ભારતીય પારસી યુવતી સાથે થઈ. રોક્સાના ત્યાં ગણિતમાં PhD કરી રહી હતી. બન્ને પ્રેમમાં પડ્યાં અને એક જ વર્ષ પછી ૧૯૬૬માં પરણી પણ ગયાં. થોડા સમય પછી રોક્સાનાએ જોકે ગણિતને અલવિદા કહીને કાયદાની વાટ પકડી લીધી અને સુપ્રીમ કોર્ટમાં વકીલાત કરવા માંડી. ઓછી ચર્ચાતી વાત છે કે સુબ્રહ્મણ્યમ સ્વામીને બે દીકરીઓ છે, ગીતાંજલિ અને સુહાસિની. ગીતાંજલિએ મૅસેચુસેટ્સ ઇન્સ્ટિટ્યૂટ ઑફ ટેક્નૉલૉજી (MIT)ના પ્રોફેસર સંજય શર્મા સાથે લગ્ન કર્યા છે, જ્યારે નાની દીકરી સુહાસિની વ્યવસાયે ટીવી-જર્નલિસ્ટ છે અને તેણે ભારતના ભૂતપૂર્વ વિદેશસચિવ સલમાન હૈદરના દીકરા નદીમ હૈદર સાથે લગ્ન કર્યા છે.