Selv om han var født i København var han og alle grevene von Spee av rhinsk adel, med nære bånd til det katolske erkebispedømme Köln. Blant slektens tidligere medlemmer var jesuittpater Friedrich Spee, som på 1500-tallet hadde bekjempet hekseforfølgelsene.