Firmian ble allerede 31 år gammel biskop av Seckau, og 1763 kom han i besittelse av bispedømmet Passau, som dengang riktignok ikke rakte til Ungarn som i sin storhetstid, men stadig omfattet det meste av Oberösterreich og en del av Niederösterreich.