Fjorden er laget av isbreer som har gravd ut fjellmasser under seg over lang tid. Isbreen har så smeltet og trukket seg tilbake, og blitt fylt igjen av havet. Dette har blitt undersøkt og beskrevet av kvartærgeolog Bjørn G. Andersen i hans studier av norske naturlandskap. Høgsfjorden er skilt fra Lysefjorden med en grunn terskel mellom Oanes og Forsand, der sadelpunktet er bare 13 meter under overflaten der det under et lag morenemasse er fast fjell. Lysefjorden består av flere bassenger skilt av terskler av fast fjell. De grunneste tersklene er vel 10 meter under overflaten. Lysefjorden fremstår som en ensartet kløft med svært bratte, til dels overhengende bergvegger. Isbreen har gravd uten en så smal og dyp fjord trolig på grunn av retning på sprekkene i berggrunnen. Berggrunnen består bare av skandinavisk grunnfjell med granitt og gneis i kombinasjon. Berget er homogent og kløver godt i rett vinkel, og det har vært steinbrudd blant annet i Eiane til brolegging og kantstein. I Lastabotn ble det funnet kobbermalm på 1700-tallet. Ved Flørli er det en terskel på omkring 150 meters dyp der fjorden er mer enn 300 meter dyp innenfor.