Podobu vlajky navrhl v roce 1914 zakladatel moderního olympijského hnutí, baron Pierre de Coubertin a představil ji olympijskému výboru. Plánované první použití vlajky na Olympijských hrách 1916 zhatila první světová válka, takže poprvé zavlála olympijská vlajka až na Letních olympijských hrách v Antverpách v roce 1920. Její přesnou podobu i hlavní zásady jejího používání definuje Olympijská charta.