Weihe ble sterkt interessert i arkeologi og kulturhistorie allerede som barn. I voksen alder reiste han Færøyene rundt og samlet inn oldsaker som han donerte til samlingen som senere ble Færøyenes nasjonalmuseum. Weihe regnes derfor blant hovedmennene bak museet. På sine eldre dager utgav han også to historiske verk, (1933) og (1938), hvor han også samlet gamle færøyske sagn og ordspråk.