Han var nevø til kardinal Friedrich Johannes Jacob Celestin von Schwarzenberg, og også i slekt med kardinal Wilhelm Egon von Fürstenberg.