Kommunen er spredt over fire store øyer (derav kommunevåpenet), Hadseløya, Hinnøya, Langøya og Austvågøy, og mange mindre som f.eks. Børøya. Omtrent 70 % av befolkningen bor på Hadseløya. Hadseløya, Børøya og Langøya er knyttet sammen med to bruer. Hadsel kommune er den nest største kommunen i folketall av Vesterålskommunene. Før Indre Eidsfjord ble en del av Sortland var Hadsel den mest folkerike.