Alexander Caldwell wurde als Sohn von James Caldwell, eines gebürtigen Iren und Jane Matilda Drake im Huntingdon County geboren. Seine Mutter war eine Nachfahrin des bekannten britischen Freibeuters Francis Drake. Caldwells Vater diente als Infanterist im Mexikanisch-Amerikanischen Krieg und fiel im September 1847 in der Schlacht von Chapultepec, als Alexander erst 17 Jahre alt war.