Hammon var født i slaveri og var eid i fire generasjoner av familien Lloyd av Queens på Long Island i New York. Hans foreldre var begge slaver. Hans far, som fikk navnet «Opium», kunne i motsetning til de fleste slaver både lese og skrive.