En 1940, le palais est occupé par l’état-major de la Luftwaffe-ouest, ses généraux Erhard Milch puis Hugo Sperrle logeant au Petit Luxembourg. Le palais est réaménagé pour cette nouvelle affectation militaire (cloisonnement des grandes pièces, réseau de sonneries, nouvelle peinture, etc.), de même que l'hôtel de la Présidence. L'architecte Marcel Macary est chargé des travaux, s'attachant à ne pas occasionner de dégâts durables pour le palais. En 1943, un blockhaus est construit dans le jardin du Luxembourg, à l'est du palais : avec 14 mètres de profondeur, il doit comporter 10 galeries d'abri mais seulement sept étaient terminées à la Libération, en août 1944 (connu sous le nom d'« abri Médicis », il sert de nos jours de lieu de stockage). Avant guerre, un abri de défense passive avait été construit dans les jardins de la Présidence ; il est amélioré et un nouveau est érigé entre la l'hôtel de la Présidence et le musée du Luxembourg.