De siste årene ble Skarbøviks posisjon sommer nummer to stadig mer utfordret, og etter nedrykket fra 3. divisjon i 2015 ble de sportslig forbigått av byrivaler som og i kampen om å være byens «nummer to»-klubb.