Nach der „Machtergreifung“ der Nationalsozialisten stürmte die SA am 2. Mai 1933 die Heilbronner Gewerkschaftshäuser. Vollmer wurde vorübergehend in „Schutzhaft“ genommen und emigrierte dann in die Schweiz, wo er von der Roten Hilfe unterstützt wurde. Im September 1934 kehrte er jedoch mit Genehmigung des Württembergischen Politischen Landespolizeiamtes nach Deutschland zurück und wohnte 1934/35 zunächst in Weinsberg, ab 1935 in Heilbronn. Er war erst erwerbslos, dann Hilfsarbeiter beim Autobahnbau und in verschiedenen Metallbetrieben. Eine Tätigkeit in seinem erlernten Beruf wurde ihm verweigert. Vollmer hatte zu dieser Zeit Kontakte zur Widerstandsgruppe um Wilhelm Leuschner. Nach dem Attentat auf Hitler am 20. Juli 1944 wurde er am 22. August 1944 im Rahmen der „Aktion Gitter“ verhaftet und in das KZ Dachau verbracht, wo er bis zum 2. Oktober 1944 als Häftling Nr. 93.065 festgehalten wurde.