I 2004–2007 spilte Larvik i 1. divisjon igjen, men klarte å rykke opp for tredje gang i 2008, hvor det ble ett nytt direkte nedrykk. Etter å ha blitt nummer 8 i 1. divisjon 2009 fant ledelsen i laget ut at spillerstallen ikke strakk til før 2010-sesongen, og Larvik trakk dermed laget.