Ai Mondiali 2006 ha giocato solamente una partita, contro gli , nella quale ha segnato uno dei tre gol che hanno decretato la vittoria della Repubblica Ceca. Durante la partita, a causa di uno scontro con il difensore statunitense Oguchi Onyewu, ha dovuto lasciare il campo per uno strappo muscolare che non gli ha permesso di giocare le altre due partite del girone eliminatorio, contro e , perse tutte e due 2-0, che hanno estromesso la squadra dal torneo. Ha annunciato che la sua avventura con la maglia della nazionale ceca terminerà con il Campionato europeo di calcio 2008. La sua ultima competizione con la maglia della nazionale non si conclude felicemente. Infatti, il 15 giugno 2008, durante la partita finale del Girone A del campionato europeo, la Repubblica Ceca viene sconfitta negli ultimi minuti con la perdendo così la possibilità di approdare ai quarti di finale. In questa occasione, Koller segna il gol dell'1 a 0 ceco.