Cea mai bună performanță internațională a fost pe durata UEFA Euro 2004 când a ajuns cu naționala în semifinală și a marcat 2 goluri. A jucat în tandem cu cu atacantul Milan Baros. La Campionatul Mondial de Fotbal 2006, Koller a suferit o accidentare minoră la coapsă pe durata meciului împotriva S.U.A pe data de 12 iunie 2006, nu la mult timp după ce a marcat un gol . Accidentarea lui a fost un dezastru pentru Cehia, care a pierdut următoarele două meciuri.