Holliday nació en Griffin (estado de Georgia), hijo de Henry Burroughs Holliday y Alice Jane Holliday (de soltera, McKey).Su padre luchó en la intervención estadounidense en México y la Guerra de Secesión, de la que su padre trajo con él un hijo adoptado llamado Francisco, quien le enseñó a disparar a Holliday.