Sie suchten und fanden die Verbindung über den Abwehroffizier Hans Oster zu dem General Erwin von Witzleben, der als Befehlshaber des Wehrbereichs III in Berlin eine militärische Schlüsselstellung einnahm. Diese beiden Offiziere bestimmten Schwerins weiteren Weg, als er als Leutnant der Reserve mit Kriegsbeginn eingezogen wurde. Schwerin nahm am Einmarsch in Polen teil und kam dann im Oktober 1939 an die Westfront unter von Witzleben. Schwerin blieb in seinem Stab als Ordonnanzoffizier bis Mitte 1942. Nach wenigen Monaten in Utrecht wurde er im Februar 1943 nach Berlin zur Division Brandenburg und ab Mai 1944 zu einer Dienststelle des Generalquartiermeisters versetzt. Witzleben spielte bis zu seiner Verabschiedung 1942 als Oberbefehlshaber West und daher aktiver Truppenkommandeur und danach wegen seines hohen Ranges in den Überlegungen der Berliner Widerstandskreise eine wichtige Rolle. Schwerin hielt Verbindung zu ihm und stärkte ihn in seiner regimekritischen Sicht. Er wird ihn auch über die Massenmorde durch das Sonderkommando Lange im Sartowitzer Wald im Herbst 1939 informiert haben. Durch seine Versetzung nach Berlin war Schwerin im Zentrum der Widerstandsaktivitäten angekommen, die nach der Schlacht von Stalingrad in eine neue Phase einmündeten.