Grünbaum pendelte sehr oft zwischen Berlin und Wien. In Berlin trat er in Filmen auf und schrieb Texte für Schlager und verfasste Drehbücher, in Wien war er in verschiedenen Kabaretts tätig. 1933 wurden seine Texte in Wien politischer. Bei einem seiner letzten Auftritte im Wiener Kabarett Simpl im Programm "Metro Grünbaum – Farkas höhnende Wochenschau" scherzte er noch bei einem Stromausfall, als die Lichter ausgingen: „Ich sehe nichts, absolut gar nichts, da muss ich mich in die nationalsozialistische Kultur verirrt haben.“ Am 10. März 1938, dem Tag vor dem Einmarsch der deutschen Truppen nach Österreich spielte er mit Karl Farkas ein letztes Mal im "Simplicissimus". Danach erließ die Reichskulturkammer Auftrittsverbote für jüdische Künstler. Grünbaum versuchte einen Tag später mit seiner Frau in die Tschechoslowakei zu flüchten, wurde an der Grenze aber abgewiesen. Eine Weile versteckte er sich in Wien; dann wurde er verraten und am 24. Mai 1938 in das Konzentrationslager Dachau deportiert. Später wurde er nach Buchenwald und schließlich wieder nach Dachau gebracht. Er starb – laut Totenschein „an Herzlähmung abgegangen“ – am 14. Januar 1941 im KZ Dachau, nachdem er an Silvester noch ein letztes Mal vor seinen Leidensgenossen aufgetreten war. Er starb entkräftet von Tuberkulose, trotzdem verstummte seine spitze Zunge bis zum Schluss nicht. Er conferierte zum Beispiel, wie er das „Tausendjährige Reich“ zu besiegen gedenke oder dass der völlige Mangel und das systematische Hungern das beste Mittel gegen die Zuckerkrankheit sei. Als ihm ein KZ-Aufseher ein Stück Seife verweigerte, antwortete Grünbaum: „Wer für Seife kein Geld hat, soll sich kein KZ halten“. Sein Grab befindet sich auf dem Wiener Zentralfriedhof (1. Tor; alter israelitischer Teil, Gruppe 20, Reihe 23, Grab Nr. 22).