Er erlernte zunächst die Technik des Kupferstichs und den Holzschnitt und arbeitete unter anderem für die American Bank Note Company und für führende Verlage. Um 1864/65 wurde er als Kunsthändler tätig. Im Jahr 1867 ernannte man ihn zum Beauftragten für das amerikanische Kunst-Department an der Weltausstellung Paris 1867. Bei dieser Gelegenheit und mit Hilfe des Sammlers George A. Lucas, erwarb er Gemälde der angesagtesten Pariser Künstler, darunter William-Adolphe Bouguereau, Jules Breton, Jean-Léon Gérôme, und Ernest Meissonier. Er unternahm jährliche Sammelreisen. Die erworbenen Bilder versteigerte er in New York oder verkaufte sie direkt an Sammler wie William Henry Vanderbilt und Alexander Turney Stewart. Er war einer der Gründer des Metropolitan Museum of Art und Mitglied der wichtigsten wissenschaftlichen, künstlerischen und pädagogischen Vereinigungen.