Olsens oppvekstmiljø på Østsiden i Fredrikstad var et typisk arbeiderklassemiljø, i et strøk som lokalt var kjent som «Lille Moskva», og fra gammelt av en bastion for NKP. Han sluttet seg tidlig til den politiske venstresiden, den nye ml-bevegelsen og AKP(m-l). Midt på 1970-tallet ledet han idrettsdagen på bevegelsens sommerleire og satt i partiets idrettsutvalg, der målet var å utvikle en rød idrettspolitikk. Han har i sin tid som landslagstrener stått fram i media med støtte til RV, Erling Folkvords stortingskandidatur og senere Rødt.