Alexander Graydon wurde 1752 als Sohn eines irischen Immigranten selben Namens und dessen zweiter Ehefrau Rachel Marks in Bristol, Pennsylvania geboren. Von 1760 bis 1766 besuchte er die Akademie von Philadelphia, anschließend begann er sich den Rechtswissenschaften zu widmen. 1776 rückte Graydon als "Captain" in die Kontinentalarmee ein, um im Amerikanischen Unabhängigkeitskrieg zu dienen. Während der Schlacht von Fort Washington am 16. November 1776 geriet er in britische Kriegsgefangenschaft, aus der er im April 1778 bei einem Gefangenenaustausch wieder entlassen wurde.