Fjorden har innløp fra Norskehavet mellom Frøyskjera i nord og øya Hovden i sør. Innenfor Frøyskjera ligger Frøya og tettstedet Kalvåg på sørsida. Herfra går fylkesvei 616 over til Smørhamnsøy og Smørhamn, hvor det var fergeforbindelse over fjorden til Kjelkenes i Midtgulen. Ferga fra Smørhamn til Kjelkenes er erstattet med tunnel under Skatestraumen til Rugsundøy. Frøysjøen fortsetter mot nordøst på sørsida av Bremangerlandet. På sørsida går fjorden Gulen mot sørøst, med de tre fjordarmene Nordgulen, Midtgulen og Sørgulen.