Etter at han ble bekreftet som biskop av Gurk, ble han intronisert i katedralen i Klagenfurt i 1910. Biskopen møtte delvis avvisning fra Kärntens slovenere, siden den ikke-kärntiske Kaltner ikke talte det andre nasjonalspråket i bispedømmet. Kaltner var den siste Gurk-biskopen som talte som virilist Landdagen i Kärnten.