Trotz grundsätzlicher Zustimmung sah Kaisen in Wiederbewaffnung und Westintegration zugleich Belastungen. Zum einen befürchtete er wiederholt öffentlich, steigende Verteidigungsetats könnten zu Lasten jener Mittel gehen, die beim wirtschaftlichen Wiederaufbau dringend benötigt wurden. Zum anderen sprach Kaisen die Verschlechterung der deutsch-sowjetischen Beziehungen offen an, die sich 1955 nach der Gründung der Westeuropäischen Union und nach dem Beitritt Deutschlands zur NATO ergeben hatten. Kaisens Einschätzung nach verringerten diese Schritte die Anreize für die Sowjetunion, in der Deutschlandfrage zu ernsthaften Fortschritten zu kommen. Das wiederum konnte seiner Meinung nach zu einer zunehmenden Entfremdung der Bevölkerung diesseits und jenseits der innerdeutschen Grenze führen. In diesem Zusammenhang plädierte Kaisen dafür, frühzeitig Mittel zurückzustellen, die im Falle einer Wiedervereinigung für Unterstützungsmaßnahmen in Ostdeutschland einzusetzen wären. Dieser Vorschlag verhallte ebenso ohne große Resonanz wie Kaisens Anfang 1959 formulierter Hinweis, sowjetische Forderungen, wie sie im Berlin-Ultimatum zum Ausdruck kamen, nicht einfach nur abzulehnen, sondern sie mit konstruktiven Gegenvorschlägen zu beantworten.