Pattison war eines von vier Kindern des baptistischen Geistlichen Robert Everett Pattison (1800–1874), welcher in den Jahren 1858 bis 1864 als Schulleiter des "Oread Institute" in Worcester, Massachusetts, und von 1864 bis 1870 als Professor für systematische Theologie am "Shurtleff College" in Alton, Illinois, wirkte. Pattison nahm als Freiwilliger der Union Army am Sezessionskrieg teil. Von April 1864 bis August 1865 diente er in der Kompanie G des "57th Regiment of the Massachusetts Volunteers", einer Einheit der Army of the Potomac, die für die Belagerung von Petersburg gebildet worden war. Von den Kriegsereignissen berichtete er James Harpers Zeitschrift "Harper’s Weekly" mittels Skizzen.