Grube nahm am 7. Februar 1933 an der illegalen Tagung des Zentralkomitees der KPD im Sporthaus Ziegenhals bei Berlin teil. Wie über viele andere kommunistische Abgeordnete, brach in der Nacht des Reichstagsbrandes, am 27. Februar 1933, der nationalsozialistische Terror über Ernst Grube herein. Seiner „Schutz“-Verhaftung folgten mehr als sechs Jahre Aufenthalt in verschiedenen Konzentrationslagern: Bis Mai 1939 wurde er in Sonnenburg, Lichtenburg und Buchenwald gefangen gehalten. Nach seiner Entlassung arbeitete er auf Grund einer Dienstverpflichtung als Tischler in Warschau. Ab 1941 war Grube in Berlin, wo er Verbindungen zur Widerstandsgruppe um Robert Uhrig unterhielt. Grube stand unter Überwachung der Gestapo; 1942 war er mehrere Monate inhaftiert. Am 21. August 1944 wurde er in der Aktion „Gitter“ erneut inhaftiert, in das Konzentrationslager Sachsenhausen verbracht und Anfang April 1945 nach Bergen-Belsen transportiert, wo er wenige Tage vor Kriegsende an Fleckfieber starb.