Fjorden har to innløp, et sørlig mellom øya Alstein og Kvitsøy, og et nordlig mellom Fjøløy fyr og Kvitsøy. Det sørlige innløpet grenser til Håsteinsfjorden i sør. Det nordlige innløpet grenser til Skudenesfjorden, som er en del av Boknafjorden. Sør for Mosterøy ligger to andre øyer, Sokn og Bru, der Rennfastsambandet langs E39 går over. Øst for disse øyene fortsetter Kvisøyfjorden videre som Hidlefjorden og Byfjorden. Mellom Mosterøy og Sokn ligger Askjesundet, med Hidlefjorden på andre siden, og mellom Bru og Sokn går Soknasundet. Mellom Bru og Randaberg ligger Byfjorden, som fortsetter videre østover til Åmøyfjorden og sentrum av Stavanger. Fra innløpet fra Skudenesfjorden til innløpet av Byfjorden er Kvitsøyfjorden omtrent 9 kilometer lang.