Bispedømmet ble skilt ut fra Salzburg erkebispedømme av pave Paul II og bestod av bare ett sogn. Bakgrunnen var at keiser Fredrik III av Det tysk-romerske rike ønsket et eget bispedømme for sin residensby, Wiener Neustadt. Frem til 1722 var bispedømmet immediat. Dette året ble Wien bispedømme opphøyet til erkebispedømme og fikk tildelt Wiener Neustadt som suffraganbispedømme, som i sin tur ble utvidet med ett ytterlige sogn.