Olsen vant en olympisk bronsemedalje i roing under Sommer-OL 1948 i London. Han var styrmann på den danske fireren som kom på tredjeplass i konkurransen firer med styrmann bak USA og Sveits. Roøvelsene ble gjennomført i perioden 5. til 8. august 1948 på Themsen. Mannskapet på den danske båten var roerne, Erik Christian Larsen, Børge Raahauge Nielsen, Henry Christian Larsen, Harry Knudsen og Ib Olsen som var styrmann.