Ditlev-Simonsen vant en olympiske sølvmedalje i seiling under OL 1936 i Berlin. Han var rormann på den norske båten «Silija» som kom på andreplass i 8-meterklassen bak den italienske båten «Italia». Seilingene ble avviklet utenfor Kiel i perioden 4. til 12. august 1936. Mannskapet på «Silija» besto av Ditlev-Simonsen, Hans Struksnæs, Lauritz Schmidt, John Ditlev-Simonsen, Nordahl Wallem og Jacob Tullin Thams. Olaf Ditlev-Simonsen var medlem i Den internasjonale olympiske komité i perioden 1948–1966.