Cole werd geboren in Londen in 1852. Zijn familie verhuisde in 1858 naar de Verenigde Staten. Ze vestigden zich in Chicago, waar ze al hun bezittingen verloren bij de Grote brand van Chicago in 1871. In 1875 kon hij aan de slag bij The Century Magazine in New York City. In 1906 werd hij voorgedragen als lid van de National Academy of Design. Cole overleed in 1931 op 79-jarige leeftijd. Zijn zoon Alphaeus Philemon Cole werd ook een bekend kunstenaar.