1953 में कृष्ण मेनन राज्य सभा के सदस्य बने. 3 फ़रवरी 1956 को, उन्हें केंद्रीय मंत्रिमंडल में बिना विभाग के मंत्री के रूप में शामिल किया गया। 1957 में वे मुंबई से लोक सभा के लिए चुने गए थे और उसी वर्ष अप्रैल में उन्हें प्रधानमंत्री नेहरू के अधीन रक्षामंत्री नामित किया गया था। सैनिक स्कूल सोसाइटी जो अभी भारतवर्ष में कुल 24 स्कूल चला रही है, के तत्वावधान में भारत में सैनिक स्कूलों की अवधारणा के पीछे वे ही थे। हालांकि, 1962 के भारत-चीन युद्ध में भारत की हार के बाद उन्होंने देश की सैन्य तैयारियां न होने के कारण अपने पद से त्यागपत्र दे दिया था। 1967 में वे अपना संसदीय चुनाव हार गए थे, लेकिन फिर 1969 में मिदनापुर से पुनः निर्वाचित हुए. वे तिरुवनंतपुरम से संसद के लिए दुबारा चुने गए थे। उनका निधन 6 अक्टूबर 1974 को नई दिल्ली में हुआ था।