Olsen spilte i East-West Shrine Game i 1961 og ble i 2003 innlemmet i kampens Hall of Fame. Han spilte også i Hula Bowl etter sin seniorsesong og ble utnevnt til kampens MVP.