Skolen ble grunnlagt som Buer skole i 1887 og ble ferdig bygget i 1890. Den fikk et påbygg i 1907, og ble igjen utvidet i 1950. En ny skole ble bygget i 1958 og navnet ble endret fra Buer skole til Vesterøy skole. Skolen ble utvidet med nytt bygg i 1971.