Efter valet 2002 valdes han med acklamation till riksdagens talman. Hans kombination av riksdagserfarenhet, statsrådstid, statsvetande och allmän fryntlighet ansågs perfekt för talmansuppdraget. Efter valet 2006, när riksdagen fått borgerlig majoritet, ställde von Sydow upp till omval som talman men förlorade omröstningen mot moderaten Per Westerberg med siffrorna 169–177. Sedan oktober 2019 är han styrelseordförande för Totalförsvarets forskningsinstitut.