I 1958 grunnla han Weller-kvartetten som ble internasjonalt kjent og gjorde en rekke anerkjente innspillinger i løpet av de ti årene kvartetten eksisterte. I 1961 ble Walter Weller 1. konsertmester i Wienfilharmonien og i 1966 gjorde han sin debut som dirigent. I 1969 signerte han en langsiktig kontrakt med Wiener Staatsoper, et engasjement som ga ham et omfattende operarepertoar.