คัลเทินบรุนเนอร์ได้เข้าร่วมพรรคนาซีในปี ค.ศ. 1930 และหน่วยเอ็สเอ็สในปี ค.ศ. 1931 และในปี ค.ศ. 1935 เขาได้ถือว่าเป็นผู้นำของชาวออสเตรียหน่วยเอ็สเอ็ส เขาได้ให้ความช่วยเหลือในอันชลุสและได้รับมอบหมายในการบัญชาการของหน่วยเอ็สเอ็สและกองกำลังตำรวจในออสเตรีย ในเดือนมกราคม ค.ศ. 1943 คัลเทินบรุนเนอร์ได้รับการแต่งตั้งให้เป็นหัวหน้าของทบวงกลางความมั่นคงไรช์ ต่อจากไรน์ฮาร์ท ไฮดริช ซึ่งถูกลอบสังหารในเดือนมิถุนายน ค.ศ. 1942