Durch die preußische Besetzung im Ersten Schlesischen Krieg 1741 und im Zweiten Schlesischen Krieg 1744 wurde die Entwicklung der Diözese gehemmt. Zur finanziellen Ausstattung des Bistums konnte Johann Joseph 1747 das Gut Zajezdez und 1750 das Gut Raubowitz erwerben. In Chlum, das ebenfalls Diözesanbesitz war, errichtete er ein Schlösschen.