Koller werd op 4 oktober 2011 benoemd tot bondscoach van Oostenrijk, als opvolger van Dietmar Constantini. In zijn eerste wedstrijd als technisch eindverantwoordelijke leed Koller een nederlaag: Oostenrijk verloor op 15 november 2011 in Lviv met 2–1 van Oekraïne. Het betrof een vriendschappelijk duel, waarin doelman Robert Almer (TSV Fortuna Düsseldorf) zijn debuut mocht maken voor Oostenrijk. Met Oostenrijk kwalificeerde Koller zich in september 2015 voor het Europees kampioenschap 2016 in Frankrijk; niet eerder plaatste het land zich voor een interlandtoernooi. Oostenrijk werd uitgeschakeld in de groepsfase na nederlagen tegen Hongarije (0–2) en IJsland (1–2) en een gelijkspel tegen Portugal (0–0).