Latimers familie var slaver da en lokal prest fikk frigitt dem. Da han var 16 år gammel, løy han om alderen sin for å få komme inn den amerikanske marine.