Hyefjorden er smal, og bratte fjellvegger ligger tett på fjorden på begge sider. Vestsiden er ufremkommelig der fjellet stuper rett i fjorden. Fylkesvei 615 går på østsiden av fjorden, med en rekke tunneler gjennom rasfarlige områder. Hyefjorden ligger med fjordåpningen ved Hestenesøyra mot nord og fjordbunnen ved bygdesenteret Hyen mot sør. Fjorden får tilført mye ferskvann fra omliggende vassdrag, der lakseelva Åelva fra Austredalen og Gjengedal er den største. Ved fjordbunnen ligger også en av kommunenes hjørnestensbedrifter, båtbyggeriet Brødrene Aa. Fiskeoppdrett finnes flere steder i Hyefjorden.