Med vekst i næringsvirksomheten etter krigen og dampskipsekspedisjon var aktiviteten høy. På begynnelsen av 1960-tallet ble Konrad Høydal fra Gravermarka siste ordfører i Gimsøy kommune. Fra 1. januar 1964 ble Gimsøy kommune slått sammen med Vågan kommune og bykommunen Svolvær til Vågan kommune. Kommunesammenslåingen, tapet av dampskipsanløpet og overgangen til at det meste av kommunikasjon gikk over vei ble vanskelig for Gravermarka. Hele området havnet i bakleksa og kommunikasjon med tettsteder som Kabelvåg, Henningsvær og Svolvær ble lengre enn det tidligere hadde vært, relativt sett i forhold til andre bygder.