Kommandoen ble opprettet i 1962 etter at det allerede i noen år hadde eksistert et uformelt samarbeide især mellom danske og tyske flåtestyrker. Opprettelsen av kommandoen skjedde i erkjennelse av at forsvaret av Danmark og Slesvig-Holsten var sammenhørende og måtte koordineres tett. I Danmark vakte tankene om et militært samarbeide med tyskerne og dermed muligheten for å se tyske soldater på dansk jord kun 16 år etter okkupasjonens opphør betydelig motstand. Fra dansk side ble det et krav, som man fikk gjennomført, at kommandoen alltid skulle ha en dansk sjef. Hovedkvarteret ble opprettet på Flyvestation Karup og kom til å bestå av offiserer og andre befalingsmenn fra Danmark, Vest-Tyskland, Storbritannia, USA samt enkelte fra Canada og Norge. Finderup-bunkeren ble primært bygget som krigshovedkvarter for NATO-kommandoen, mens fredshovedkvarter var i lokalitetene på Karup.