Sesongen etter ble divisjonssystemet endret og 2. divisjon redusert til fire avdelinger hvor vinneren rykket direkte opp. Lofoten var i toppkampen flere år på rad, men klarte aldri å vinne serien igjen. På grunn av dårlig økonomi og manglende resultater mistet klubben flere av sine viktigste spillere. Lofoten 2 som spilte i 3. divisjon ble lagt ned og spillerne som fikk lite spilletid på førstelaget fikk derfor enda mindre kamptrening. Summen av disse tingene førte til at Lofoten rykket ned til 3. divisjon i 2005.