Skarsvåg fikk sin første skolebygning i 1912, en bygning som stod frem til den tvungne evakueringen av Finnmark i 1944 i forbindelse med tyskernes tilbaketrekning for de russiske styrkene. Skolebygningen ble i likhet med resten av bygden brent ned i slutten av oktober dette året.