Karlsen var målvakt for Austrheim IL sitt jentelag som ble kretsmestre for Hordaland i 1981. Hun begynte som dommer i 1983. Hun har vært FIFA-dommer fra 1996 til 2004 og hun har vært toppseriedommer siden 1992. Hun har også dømt EM 1997 i Sverige og OL 2000 i Sydney. Vibeke Karlsen har dømt flere cupfinaler for damer og skal dømme cupfinalen 2009 mellom Røa og Team Strømmen.