Het dorp ligt tussen Harkstede en Kolham op de zandrug waarop vrijwel alle dorpen van de landstreek Duurswold liggen. De naam Scharmer is waarschijnlijk een verbastering van "Skiramere" (schier meer), wat helder water betekent. Dat verwijst naar de waterrijke omgeving. Scharmer en behoorde tot de laagste delen van Duurswold: bij de Kerstvloed van 1717 werden in Scharmer 25 huizen vernield, hoewel er nauwelijks huizen in het laaggelegen buitengebied stonden.