Siden starten på Koreakrigen i juni 1950 krevde særlig USA et tysk bidrag til forsvaret av Vest-Europa, noe som gjorde planen om et forbundsgendarmeri uaktuell. På denne måten ble Schwerins kontor gjort om til den første forvaltningsenheten i Den tyske forbundsrepublikken som systematisk behandlet alle spørsmål vedrørende et vesttysk militærbidrag. Adenauer ga Schwerin i oppgave å forberede en ekspertkonferanse fra 5. til 9. oktober 1950. Denne konferansen førte frem til en rapport som ble kalt «Himmeroder Denkschrift» etter møtestedet, Himmerod-klosteret. I denne rapporten ble de grunnleggende planene for det senere Bundeswehr formulert. Schwerin selv var ikke medlem av ekspertpanelet. Dette var det første skrittet i retning av en tysk gjenopprustning under vestmaktenes kontroll. Schwerin kritiserte at Adenauers uformelle gruppe av rådgivere bestod av offiserer som hadde omtalt offiserer som ytet motstand mot det nasjonalsosialistiske regimet, som forrædere. Med oppløsningen av (ZfH) i slutten av oktober 1950 ble Schwerin avskjediget etter avtale med Konrad Adenauer. Schwerin hadde handlet i motstrid med klare ordre fra kanslerkontoret, og egenmektig utvidet sin medarbeiderstab. Han hadde også uttalt seg til pressen om forberedelser til en vernepliktslov. Oppgavene fra ZfH ble heretter overtatt av det såkalte Amt Blank under ledelse av Theodor Blank.