Apulaiskaupunginjohtajana ollessaan von Frenckell teki kaikkensa saadakseen olympiakisat Helsinkiin. Hän oli Stadion-säätiön ensimmäinen puheenjohtaja vuosina 1927–1977 ja toimi sekä vuoden 1940 järjestelytoimikunnan jasenenä eroten siitä keväällä 1939, mutta jatkoi perustetun Helsingin kaupungin olympiatoimiston päällikkönä eli n.s. ”olympiakomissaarina”. Vuoden 1952 kisoissa von Frenckell valiittiin olympialaisten järjestelytoimikunnan puheenjohtajaksi.