Josef Dreher wurde am 20. Juni 1896 als Sohn des Appreteurs Albert Dreher und dessen Frau Maria Anna (geb. Diem) in der Vorarlberger Stadt Dornbirn im Rheintal geboren. Bereits vor dem Anschluss Österreichs an das Deutsche Reich im Jahr 1938 war Dreher Leiter der zu diesem Zeitpunkt illegalen Schutzstaffel (SS) in Vorarlberg, Mitglied der NSDAP und Leiter des sogenannten „Dornbirner Kreises“. Er war somit einer der prominentesten illegalen Nationalsozialisten im ständestaatlichen Vorarlberg. Zwischen 1933 und 1938 hatte Dreher aufgrund dessen mehrfach von österreichischen Strafgerichten verurteilt insgesamt eineinhalb Jahre im Gefängnis verbracht. Der gelernte Elektromonteur führte in dieser Zeit als Gastwirt auch das Gasthaus „Weißes Kreuz“ in der Dornbirner Innenstadt, das als bekannter Treffpunkt der bürgerlich-nationalen Kreise in Dornbirn galt. Dreher heiratete am 1. Oktober 1923 in Dalaas die ein Jahr ältere Julie Ölz aus Dornbirn.