Den innerste delen av fjorden heter Simadalsfjorden. På sørsida av fjorden ligger bygdene Ringøy og Bjotveit. På andre sida av fjorden ligger Djønno. Litt lenger inn i fjorden på nordsida ligger Vangsbygdi og rett øst for dette ligger Bruravik. Fra Bruravik gikk det ferge over til Brimnes på sørsida. Dette fergesambandet var en del av veien mellom Bergen og Oslo over Hardangervidda (riksvei 7). I 2013 ble fergen erstattet av Hardangerbrua. Ved Bruravik går Osafjorden nordøstover. Den ytterste delen av Osafjorden blir også kalt Bagnsfjorden. Videre innover gjør Eidfjorden en stor sving, først nordover og så sørover og inn til tettstedet Eidfjord. Fra Eidfjord går Simadalsfjorden, som er de siste 4 km av Hardangerfjorden.