Bygden Ivarsfjord ligger på vestsiden av fjorden. På østsiden ligger en liten gård ved en ås kalt Sukkertoppen. To holmer ligger i fjorden, Torvholmen og Sandholmen.