Fra sørsiden av fjorden går fjordarmen Steinfjorden. Ersfjorden er omgitt av høye, bratte og spisse fjell, hvor de høyeste når opp til rundt 800 meter over havet. Blant fjellene er de karakteristiske Okshornan, også kalt . Ersfjorden har småbåthavn og er kjent for sin flotte sandstrand.