Am 17. Juli 1954 trat die zweite Bundesversammlung in West-Berlin zur Wiederwahl von Bundespräsident Theodor Heuss zusammen. Am 20. Juli gab es zum 10. Jahrestag des Attentats auf Adolf Hitler eine Gedenkstunde in Berlin. Schröder war aus terminlichen Gründen schon vorab nach Bonn gereist, um die siegreiche deutsche Fußballnationalmannschaft nach dem Wunder von Bern als zuständiger Bundesminister für den Sport zu empfangen. Der Präsident des Bundesamts für Verfassungsschutz Otto John war als ehemaliger Widerstandskämpfer anwesend und reiste in der Nacht in die DDR. Schröder vertrat lange den Standpunkt, John müsse entführt worden sein, und lobte eine Belohnung in Höhe von 500.000 DM für Hinweise aus. Die meisten Bonner Politiker waren jedoch schon früh der Ansicht, dass John freiwillig in die damalige SBZ geflohen sei. Der Bundestagsausschuss zum Schutz der Verfassung, der von Schröders ehemaligen Vorgesetzten Walter Menzel geleitet wurde, mit dem Schröder eine enge Feindschaft verband, stellt mit der SPD-Bundestagsfraktion einen Missbilligungsantrag gegen Schröder und forderte einen Untersuchungsausschuss. Die FDP war sich zu dieser Zeit nicht sicher, ob sie Schröder stützen wollte. Das zeitgleiche Scheitern der Europäischen Verteidigungsgemeinschaft nötigte sie jedoch dazu, die Koalition zu halten und folglich Schröder zu unterstützen, so dass der Missbilligungsantrag keine Mehrheit fand und der Untersuchungsausschuss zwei Jahre später kein Fehlverhalten Schröder attestieren konnte. Nach Johns Rückkehr in die Bundesrepublik im Dezember 1955 und seiner Verurteilung wegen Landesverrats setzte sich Schröder bei Theodor Heuss für seine – 1958 erfolgte – Begnadigung ein. Durch die Ereignisse um John sensibilisiert, war Sicherheit Schröders oberste Prämisse. Er erwarb sich bald den Ruf eines Law-and-Order-Politikers.