Komitet powstał w 1911 roku, na rok przed trzecim występem Imperium Rosyjskiego na igrzyskach olimpijskich. Nie został on członkiem MKOl przed Pierwszą wojną światową, a po Rewolucji październikowej i powstaniu Rosji Radzieckiej został on zlikwidowany. Organizację odnowiono w 1991 roku. Została ona spadkobierczynią Komitetu Olimpijskiego Związku Radzieckiego i jeszcze w tym samym roku została członkiem MKOl.