Olsen var en ekspertkommentator på TV, for det meste sammen med Dick Enberg på NBCs dekning av AFC på slutten av 1970-årene og gjennom 1980-årene. Han og Enberg jobbet også sammen under fire Super Bowl (XV, XVII, XX og XXIII), samt ni Rose Bowl fra 1980 til 1988. Olsen var også ommentator under Super Bowl XIII i 1979 med Curt Gowdy og John Brodie (Enberg var da studiovert før kampen, under halftime og etter kampen. I ble Olsen erstattet av Bill Walsh som NBCs ledende ekspertkommentator. I 1989-sesongen jobbet Olsen med Charlie Jones på NBCs sendinger. I og gikk han over til CBS Sports hvor han kommenterte NFL-kamper med Dick Stockton.