Fra 1837 var Ytre Sandsvær del av Sandsvær formannskapsdistrikt. Tettstedet Hvittingfoss ligger i Ytre Sandsvær. 1. januar 1908 ble Sandsvær delt i Ytre Sandsvær med 3 245 innbyggere og Øvre Sandsvær med 2 464.