Pollen ligger midt mellom Moskenes og Reine, omgitt av de høye fjellene Reinebringen (448 moh.) på nordsiden, Munken (717 moh.) i fjordbunnen og Gylttinden (543 moh.) i sør. Fra det trange innløpet vider Djupfjorden seg gradvis ut til 700 meter. Dette kombinert med den grunne fjordterskelen gir karakteristiske poll-trekk.