De eneste bosetninger ligger innerst i fjorden. Her ligger gårdene Bukta og Perstrand. Fjorden er 22 meter dyp på det dypeste, helt ytterst i fjorden. Trollsundet, mellom Rolvsøya og Ingøya på nordsiden, ligger utenfor Trollfjorden.