Lokakuussa 2011 ÖFB kertoi, että Koller on Itävallan maajoukkueen uusi päävalmentaja. Hän aloittaa tehtävässään marraskuun alussa 2011. Koller luotsasi Itävaltaa MM-karsinnoissa 2014. Itävalta taisteli jatkokarsintapaikasta Ruotsin maajoukkueen kanssa, mutta jäi lopulta kolmen pisteen päähän Ruotsin kakkossijasta eikä selvinnyt kisoihin. Karsintojen jälkeen Kollerin ympärillä alkoi mediapyöritys, kun 1. FC Nürnberg ja Sveitsin maajoukkue kiinnostuivat hänen palveluksistaan. Lopulta Koller päätyi allekirjoittamaan jatkosopimuksen Itävallan jalkapalloliiton kanssa ja hän luotsaa maajoukkuetta myös EM-karsinnoissa 2016.