કહેવામાં આવે છે કે સ્વરાજ પોતાના વિદેશ મંત્રીના કાર્યકાળ દરમિયાન એ સુનિશ્ચિત કરતા રહ્યા કે એવી કોઇ અટકળોના જન્મે કે તે ક્યારેય પીએમ પદની દાવેદાર બની શકે છે.