Sandberger ble medlem av SA i 1931. Etter uklarheter om medlemskap i NSDAP (blant annet fordi han ikke hadde betalt medlemsavgiften) akspeterte gauleiter i 1935 å tilbakedatere medlemskapet til 1. desember 1931. I 1933 hørte han Martin Heidegger rose den nasjonalsosialistiske revolusjonen. Ifølge den tyske historikeren Michael Wildt var Sandberger ikke et lite hjul i maskineriet, i stedet var han blant de som planla massemordet og utformet drapsmaskineriet. Heydrich utnevnte (etter okkupasjonen av Polen) Sandberger til leder av innvandringskontoret i Gdingen for å ta i mot etnisk tyske fra det sovjetiskokkuperte Baltikum samtidig som jøder og etnisk polske ble fordrevet til Generalguvernementet. En av Sandbergers oppgaver var å gjøre en rasemessig vurdering av immigrantene fra Baltikum. Våren 1940 ble Sandberger med som Scheels assistent til Alsace. I april 1941 sendte Himmler Sandberger til Slovenia med oppdrag å koordinere fordrivelsen av slovenere fra den nordøstlige delen av Slovenia.