Graham naît à Washington, D.C., fils du colonel James Duncan Graham (1799-1865) et Charlotte Meade (sœur de George Gordon Meade). Il épouse Aroostine Brewerton Ricketts en 1860 à la forteresse Monroe, VA. Son oncle et homonyme, William Montrose Graham (1798-1847), a été tué pendant la guerre américano-mexicaine, tandis qu'il commandait le 11th U.S. Infantry à Molino del Rey.