Fra innløpet i øst strekker den seg 4 km nordvestover til Hanasandsundet, som går videre nordover til Talgjefjorden. I vest møter Brimsefjorden Fognafjorden, som fortsetter videre nordøstover, mens Hidlefjorden ligger sør for Brimse.