I 1998 vedtok bystyrepolitikerne i Bergen at en friidrettshall i Bergen skulle kalles opp etter Olsen. Den fikk navnet Waltherhallen, og ble åpnet i 2002.