I sin ungdom tilhørte han kretsen rundt blant andre Jens Stoltenberg, Ole Jacob Frich, Hanne Harlem og Turid Birkeland i Majorstua AUF, som oppnådde stor innflytelse i partiet. I 1988 var Eide politisk sekretær for Arbeiderpartiets bystyregruppe. Han var generalsekretær i Europabevegelsen 1991–1993. Han var statssekretær i Utenriksdepartementet 2000–2001, Forsvarsdepartementet 2005–2010 og igjen i Utenriksdepartementet 2010–2011, og har vært betegnet som «en av de mektigste politikerne i det norske regjeringsapparatet.» Eide var forsvarsminister fra 11. november 2011, og var utenriksminister i Jens Stoltenbergs andre regjering fra 21. september 2012 til regjeringen gikk av 16. oktober 2013. Han var styremedlem i Det europeiske sosialdemokratiske parti fra 2001 til 2013 og er medlem av Arbeiderpartiets internasjonale utvalg.