Walter Taussig war der Sohn von Josef Heinrich Taussig (1876–1943) und Paula Caroline geb. Roth (1880–1967). Er hatte eine Schwester, die später berühmte Mathematikerin Herta Freitag (1908–2000). Er schrieb sich an der Wiener Musikakademie ein, an der er bis 1928 Oboe, Komposition (bei Franz Schmidt) und Dirigieren (bei Robert Heger) studierte. Parallel dazu absolvierte er ein Studium der Musikwissenschaft und der Philosophie an der Universität Wien. Er bewunderte Richard Strauss als Dirigenten und bezeichnete ein Verdi-Requiem, dirigiert von Toscanini, als eine seiner nachhaltigsten Erinnerungen. Er begann schon früh mit dem Unterrichten, Eli Freud lernte bei ihm und bei Robert Walter Spitz das Klavierspielen. Ab 1929 war er an deutschen Opernhäusern engagiert, danach unternahm er bis 1939 internationale Tourneen durch ganz Europa bis Finnland, in die Türkei, nach Ägypten und nach Nordamerika. Dazwischen, 1935, dirigierte er an der Volksoper Wien und am Theater an der Wien. 1938, während der Eingliederung Österreichs in das nationalsozialistische Deutsche Reich, war er gerade auf dem Rückweg von einer Tournee in den USA. Er kehrte nicht zurück, sondern blieb in Frankreich und organisierte von dort aus seine Emigration.