Im Jahr 1858 zog Horace Bartine mit seinen Eltern nach New Jersey. Dort besuchte er die öffentlichen Schulen. Seit Juli 1863 nahm er als Soldat der Unionsarmee am Bürgerkrieg teil. Während der Schlacht in der Wilderness wurde er schwer verwundet. Später war er bei der Kapitulation der Konföderierten Staaten anwesend. Nach dem Krieg kehrte er nach New Jersey zurück, wo er in der Landwirtschaft tätig wurde.