Kaltenbrunners far var advokat og han studerte også selv juss ved universitetet i Graz etter først å ha studert i Linz. Han tok avsluttet studiene med doktorgrad i juss i 1926 og drev advokatpraksis i Linz. I 1926 avla han eksamen og begynte å jobbe som advokat, først delt mellom Linz og Salzburg, og fra 1928 kun i Linz. Adolf Eichmann kom også fra Linz og de to var bekjente fra Linz. Eichmann ble i 1932 medlem av det østerrikske nazistpartiet og SS på invitasjon fra Kaltenbrunner. Kaltenbrunner behandlet Eichmann som sosialt underlegen ham selv.