1964年東京オリンピックの開催を控え、江崎真澄防衛庁長官の発案により戦前の陸軍戸山学校をモデルにして計画され、「部隊等における体育指導者の育成」「オリンピック等国際級選手の育成」「体育に関する調査研究」の三つを目標に掲げて1961年(昭和36年)に設立された。