Koller on sveitsin suurseuran Grasshopper-Club Zürichin omia kasvatteja ja hän debytoi ykkösjoukkueessa 1980. Koller edusti zürichiläisseuraa 17 vuotta voittaen seitsemän Sveitsin mestaruutta ja viisi cupin mestaruutta. Kaikkiaan hän pelasi Grasshoppersin paidassa yli 400 ottelua. Sveitsin maajoukkueessa Koller pelasi 56 A-maaottelua ja teki 3 maalia. Hän oli mukana Sveitsin joukkueessa EM-kisoissa 1996, joihin hän lopetti maajoukkueuransa.