Høystiftet var imidlertid mye mindre enn bispedømmets kirkelige utstrekning. Dessuten ble de verdslige besittelsene etterhvert mer og mer innskrenket og overtatt av grevene av Tirol. Disse var opprinnelig fogder for fyrstbiskopen, men klarte i løpet av 1200- og 1300-tallet å snu maktforholdet, slik at fyrstbiskopen i realiteten var blitt avhengig av grevene. Fyrstbiskopens verdslige territorium bestod til slutt bare av byen Brixen samt en rekke mindre eksklaver: Abteital, Assling, Bruneck, Fassadalen, Vintl. I tillegg kom betydelige besittelser rundt Veldes (slovensk ) i Krain.