Ytre Hjartholm ligger ved Sognefjorden ved en bukt med god ankerplass. Gården har hatt mye bjørk og furuskog. Om beiteretten i fjelldalen Iserklov var det uenighet mellom bøndene på Ytre Hjartholm og bøndene i Breidvik på 1800-tallet, men det kom til forlik slik at oppsitterne på Ytre Hjartholm ikke skulle melke kuene sine utenfor elven og oppsitterne i Breidvik ikke skulle melke kuene sine innenfor elven som renne gjennom dalen.