Mit der Vienna wollte es nicht mehr mit einem Titelgewinn klappen: 1961 wurde Karl Koller mit der Mannschaft sowohl Zweiter in der Meisterschaft als auch im Cup. Mit der österreichischen Nationalmannschaft konnte er bei der Europameisterschaft 1960 auch nicht überzeugen. Das Team scheiterte im Viertelfinale am Gastgeber Frankreich. Bei der EM 1964 kam das Aus bereits im Achtelfinale durch eine Niederlage gegen Irland. Karl Kollers Karriere im Team endete mit der verpassten WM-Qualifikation 1966, wobei der österreichische Verband, heute undenkbar, noch die Teilnahme an der WM 1962 auf Grund der hohen Reisekosten nach Chile abgesagt hatte. In der Meisterschaft spielte Koller mit den Blau-Gelben bis 1965 und beendete seine Karriere nach 836 Spielen und 101 Toren für die Vienna.