Skolen hadde siden 1990-tallet også tatt imot elever fra resten av kommunen. Elevtallet ble likevel stadig lavere på grunn av færre fastboende småbarnsfamilier på sommerøya i Oslofjorden. Enkelte politikere i kommunen foreslo derfor flere ganger å legge ned Hvasser skole og å slå denne sammen med kommunens andre barneskole, Lindhøy skole, som ligger på hovedøya Tjøme sju km unna. Andre mente skolen var et betydningsfullt samlingspunkt i lokalsamfunnet og et viktig kommunalt servicetilbud for barnefamiliene på øya, og at den måtte beholdes for å opprettholde et levende nærmiljø.