Wilhelm Graf Schwerin von Schwanenfeld war einer von fünf Söhnen aus der Ehe von Marianne, geborene Sahm (1907–1988), und Ulrich Wilhelm Graf Schwerin von Schwanenfeld (1902–1944) und wuchs auf dem familieneigenen Gut Göhren in Mecklenburg-Strelitz (heute Teil der Stadt Woldegk) und auf dem Gut Sartowitz in Westpreußen auf. Nach dem Scheitern des Attentats gegen Hitler am 20. Juli 1944, an dem sein Vater Ulrich Wilhelm maßgeblich beteiligt war, wurde die Familie verhaftet und auseinandergerissen. Zwei seiner Brüder starben noch im Kindesalter; die beiden anderen Brüder sind der Verleger Christoph Andreas Graf von Schwerin (1933–1996) und der Historiker und Polizeipräsident a. D. Detlef Graf von Schwerin.