Josef Bühler ble født født 16. februar 1904 i Waldsee i kongedømmet Württemberg i keiserriket Tyskland som sønn av en baker (nest yngst av 12 søsken). Familien var katolsk og Bühler fortalte i avhør etter krigen at han hadde forblitt katolikk og aldri forlatt kirken. Han studerte jus (i München, Kiel, Berlin og Erlangen) og oppnådde doktorgrad i 1930, og fikk arbeid i Hans Franks advokatfirma i 1930. En eldre bror ble prest Han meldte seg inn i NSDAP 1. april 1933 (medlemsnummer 1663751). Bühler fikk stilling i offentlig administrasjon da Frank ble justisminister i Bayern i mars 1933. Han giftet seg på 1930-tallet med Hedwig Almus (født 1920) og de fikk barn i 1943 og i 1945.