Han var sønn av bonde, kjøpmann og lagtingsmann Lassen Weihe og hustru Elsebeth Christine Djurhuus. En yngre bror var Hans Peter Weihe, som ble kjøpmann, skipsreder og lagtingsmann. På farssiden nedstammet han (i direkte mannslinje) fra lagmann Samuel Pedersen Lamhauge, hvis sønn Peder Samuelsen Lamhauge tok navnet Weyhe (Weihe) på 1700-tallet. Lamhauge-slekten nedstammer fra Færøyenes første lutherske prest, Heini Havreki.