Als Sohn einer wohlhabenden englisch-irischen Familie wurde Cooper im März 1856 in der Großstadt Pennsylvania geboren. Er hatte jeweils vier ältere, sowie vier jüngere Geschwister. Seine Mutter Emily Williams Cooper, deren Vorfahren in die USA aus Weymouth emigrierten, war eine Amateurmalerin im Bereich Aquarell. Als Chirurg und Anwalt war Coopers Vater Colin Campbell Cooper, wessen Großvater aus Derry übersiedelte, tätig, der ein großes Interesse an Kunst zeigte. Cooper entdeckte sein Interesse an der Kunst nach dem Besuch der Centennial Exhibition. Seine Eltern unterstützten seine Ambitionen und ermutigten ihn, Künstler zu werden.