Richardsen debuterte for LSK som 17-åring i 1980, og er den femte yngste spilleren som har spilt for klubben på toppnivå. Han var i klubben frem til 1987, og ble norgesmester i 1985 og seriemester i 1986. Richardsen markerte seg som en løpssterk spiller på høyresiden av Lillestrøms midtbane. Om Richardsen og Gunnar Halle på hver sin flanke, hevdet Lillestrøms trener Tom Lund foran 1987-sesongen at bedre spillere finner en ikke i Norge på disse plassene. På sensommeren i 1987 ble han ansatt i en jobb han fant det vanskelig å kombinere med kravene i toppfotballen. Resultatet ble en formsvikt som førte til at han mistet plassen i startoppstillingen. Etter 1987-sesongen valgte Richardsen å legge opp som toppfotballspiller. I februar 1988 ble han klar for 4. divisjonsklubben . Richardsen gjenvant etter hvert lysten til å spille toppfotball. I 1991 spilte Richardsen for i 1. divisjon. I 1992 vendte Richardsen tilbake til spill på lavere nivå med Aurskog/Finstadbru i 3. divisjon.