Fjorden har innløp mellom Lysvågneset på Nærøya i vest og Revneset i øst. Hamnfjorden ligger nordøst for Ryggefjorden. På vestsida av Nærøya går Møklandsfjorden sørover og møter Ryggefjorden på sørsida av Nærøya. Herfra går Ryggefjorden sørover på Langøya og passerer Kråkberget på vestsida. I botn av fjorden ligger bygdene Sør-Rygge og Sommarland.