Han var i delstaten Indiana 1986–1989 og guvernør 1989–1997, hvoretter han representerte delstaten i Senatet 1999–2011. Gjennom disse årene var han medlem av fem komiteer, og satt som formann i Senatets underkomité for sikkerhet og internasjonal handel og finans. Bayh ble regnet som en moderat og sentrumsorientert demokrat. Han hadde ambisjoner foran presidentvalget i 2008, men trakk sitt kandidatur tidlig og anbefalte velgerne å stemme på Hillary Clinton. Bayh ble senere nevnt som en aktuell visepresidentkandidat for Barack Obama. I 2010 stilte ikke Bayh til gjenvalg, og begrunnet dette med en polarisert debatt som forsinket politiske prosesser.