Han var gift med Marthe Bonsach fra 1798 til hennes død i oktober 1835. De hadde ingen barn. Herman Amberg døde i Kristiansand i desember 1837.