Nach der Machtübernahme der Nationalsozialisten musste Drügemüller seine politischen Ämter niederlegen und seinen Beruf aufgeben. Er wurde am 6. Juni 1933 verhaftet, ins Gefängnis des Amtsgerichtes Königs Wusterhausen gebracht und am 27. Juni ins KZ Oranienburg überführt. Später wurde er in das Nebenlager Blumberg verbracht, kam dann aber wieder nach Oranienburg und wurde am 21. Dezember 1933, nach abermaliger Inhaftierung im Amtsgerichts-Gefängnis, entlassen. Noch bis April 1934 wurde Drügemüller unter Polizeiaufsicht gestellt. In den folgenden Jahren erwarb er ein Getreide- und Futtermittelgeschäft in Driesen, das er bis 1945 als selbständiger Kaufmann betrieb. Im Zuge des Attentats auf Hitler wurde er Ende August 1944 für etwa eine Woche inhaftiert.