દિલ્હીની ખ્યાતનામ હિન્દુ કૉલેજમાં તેમણે ગણિતમાં માસ્ટરની ડિગ્રી મેળવી. સમગ્ર દિલ્હી યુનિવર્સિટીમાં તે ત્રીજા નંબરે આવ્યા હતા. એ પછી કલકત્તાની ઇન્ડિયન સ્ટૅટિસ્ટિકલ ઇન્સ્ટિટ્યૂટમાં જઈને આંકડાશાસ્ત્રમાં ફરી પાછું માસ્ટર કર્યું. ત્યાંથી પછી પોતાનું લોકેશન ચેન્જ કરીને ૧૯૬૫માં તેમણે હાર્વર્ડ યુનિવર્સિટીની વાટ પકડી. ત્યાં તેમણે અર્થશાસ્ત્રમાં PhD કર્યું. એ વખતે તેમના ગાઇડ પણ અર્થશાસ્ત્રમાં નોબેલ પારિતોષિક જીતી ચૂકેલા રશિયન અર્થશાસ્ત્રી સિમોન કઝેન્સ હતા. PhD થયા ત્યારે સ્વામીની ઉંમર માત્ર ૨૪ વર્ષ જ હતી. તેમનો ડૉક્ટરેટનો અભ્યાસ ચાલતો હતો એ દરમ્યાન જ સ્વામીએ ન્યુ યૉર્ક ખાતેના સંયુક્ત રાષ્ટ્રના સેક્રેટરિયેટમાં અસિસ્ટન્ટ ઇકૉનૉમિક્સ અફેર્સ ઑફિસરની ફરજ બજાવી હતી. એ પછી માત્ર ૨૭ વર્ષની ઉંમરે હાર્વર્ડ યુનિવર્સિટીમાં રેસિડન્ટ ટ્યુટર પણ બન્યા હતા.