Wessel bodde i Vestby til han var 16 år gammel, i årene 1742–1758. De første seks årene bodde familien i dette huset, senere i prestegården, etter at faren, Jonas Wessel, ble forfremmet til sogneprest. Huset var «kapellanstue», og ligger på prestegårdens jord. Johan Herman var en av tretten søsken, og hans brødre Ole Christopher Wessel og Caspar Wessel vokste også opp i dette huset.