Farfaren, Christopher Welhaven eller Welhaver (1725–83), var possementmaker fra Ribnitz ved hansabyen Rostock i dagens nordøstlige Tyskland. Hans sønn, Johan Andreas Welhaven (1748–1811), kom 17 år gammel til Bergen som læresvein («junge») på Hansabryggen. Etter seks år var han blitt «gesell». Med tiden ble han lærer ved den tyske fattigskolen opprettet i 1777 i tilknytning til Tyskerkirken i Bergen. Senere ble han også organist og klokker i nevnte kirke. Han giftet seg med Elisabeth Margrethe Woltmann (d. 1814), også hun fra Nordøst-Tyskland. Johan Andreas Welhaven ser ut til å ha vært en hardt arbeidende mann som foruten å tilegne seg det norske språket kostet høyere utdannelse for sine tre sønner, deriblant Johan Ernst Welhaven.