Han hadde en rekke ulike stillinger, men ble i 1934 dømt for voldtekt av en 13 år gammel jente som var medlem av Bund Deutscher Mädel, og for ulovlig bruk av offentlig kjøretøy, som ble ødelagt da han kjørte med promille. Han mistet da sitt arbeid, ble fratatt sin akademiske grad og ble ekskludert fra NSDAP. Etter to års avtjent fengselsstraff ble han igjen arrestert for voldtekt av en ung jente. Han ble da satt i konsentrasjonsleir som seksualforbryter, noe som var vanlig for straffedømte på dette området den gangen. Han kontaktet da sin bekjente Gottlob Berger som satt sentralt i Schutzstaffel som sjef for SS-Hauptamt (hovedkontoret), og var en nær venn av Heinrich Himmler. Ved hjelp av disse kontaktene lyktes det Dirlewanger å bli løslatt og opptatt i SS ved å erklære seg villig til å kjempe i Spania.