Hyggen ligger i en slak helling ned mot Hyggenvika, som åpner ut for fjorden mot syd. Området er solvendt og skjermet, med åser på 150–250 meter i bakkant mot nordvest, nord og nordøst. Mot øst ligger Villingstadåsen (357 moh), og herfra renner Hyggenbekken ned mot Hyggenvika.