I perioden 1991–1996 var han statsråd i Spania med ansvaret for offentlige arbeider, transport og miljø. Borrell var medlem av Europaparlamentet i den sosialistiske gruppen. Han ble valgt til president for Europaparlamentet den 20. juli 2004, og etterfulgte da Pat Cox. Det skjedde etter en avtale mellom sosialister og konservative om å dele presidentposten i valgperioden 2004–2009. I den siste halvdel av perioden, fra januar 2007, overtok den tyske konservative politikeren Hans-Gert Pöttering presidentvervet.