Dunant var født i Genève som den førstefødte sønnen til forretningsmannen Jean-Jacques Dunant og hans kone Antoinette Dunant-Colladon. Hans familie var engasjerte kalvinister og hadde betydelig innflytelse på samfunnet i Genève. Dunant fikk betydningen av frivillig arbeid inn med morsmelken. Hans far var aktiv i arbeidet med foreldreløse og hans mor arbeidet med de syke og svake. Hans besøk til et fengsel i Toulon fikk også stor innflytelse for ham, møtet med fengselsinnsatte og deres lidelser ble en sterk opplevelse.