Ygeman har vokst opp og er bosatt i Årsta i Stockholm. Han har vært leder for SSU Stockholm fra 1992 til 1996, og nestleder for SSU fra 1995 til 1997. Han er en kjent EU-kritiker.