Familien von Schwerin har etter 1100-tallet oppkalt seg etter byen Schwerin, der de i middelalderen tjenestegjorde som ministerialer på Schweriner Schloss. En direkte forfader, Otto Reichsfreiherr von Schwerin, av Mark Brandenburg under storfyrst Friedrich Wilhelm, kjøpte i 1670 godskomplekset Wolfshagen i Uckermark. Ulrich Wilhelms oldefar forøket besittelsene med det tilgrensende godset Göhren (som senere er blitt ortsteil i Woldegk) i Mecklenburg-Strelitz. Der ble Ulrich Wilhelms far født.