Hadler-Olsen ble oppflasket i fra barnsben av, og fikk sin seniordebut som syttenåring i 1982. Han spilte fem sesonger for Brann. I 1987 spilte han for , påfulgt av et vellykket opphold hos i 1988, før han vendte hjem til Bergen for å gjenforenes med Brann i 1989. Hadler-Olsen spilte så fire sesonger for Brann, før han avsluttet karrieren med spill for og .