Seljelvnes er delt i to gårder, Indre Seljelvnes og Ytre Seljelvnes. Indre Seljelvnes var tidligere bygdas midtpunkt med rutebåtanløp og handel. Begge gårdene er oppdelt i flere bruk som også har navn.