Han kom fra en velansett bondeslekt på Niðristovugarður i Lamba. Både faren Lassen Weihe og storebroren Andreas Weihe var lagtingsmenn og dannebrogsmenn.