Ahlsen begynte sin karriere på seniornivå i Fredrikstad på midten av 70-tallet. Han debuterte i 1976, og ble juniornorgesmester samme sesongen. Han ble cupmester med FFK i 1984, mye takket være sitt fantastiske frisparkmål fra 35 meter – en scoring som ofte blir regnet som det flotteste målet som noen gang er scoret i norsk fotball. I 1987 gikk Ahlsen til Brann. Overgangssummen på 275 000 kroner var på tidspunktet rekordsum mellom to klubber i Norge. Han spilte seks sesonger for Brann, kun avbrutt av et kort låneopphold i tyske Fortuna Düsseldorf. I denne perioden ble han en svært populær og betydningsfull spiller på Brann-laget.