Grisetskolten ligger ytterst og på østsiden av Innfjorden og er en markant fjelltopp. Fjellet går bratt opp fra sjøen, gjennom en skogkledd li. Terrenget er vanskelig med mye blokkstein som har rast ned fra den bratte toppen.