Josef var den eldste av tre sønner av den velstående bayerske industrialisten Karl Mengele. Han studerte medisin og antropologi ved universitetene i München, Wien og Bonn. I München fikk han doktorgrad i antropologi med en disputas i 1935 om de rasemessige forskjellene i underkjeven. Etter eksamen reiste han til Frankfurt for å jobbe med Otmar Freiherr von Verschuer, som var en viden kjent «rasebiolog».