Ellsworth Kelly wurde 1923 als Sohn eines Versicherungsangestellten in Newburgh geboren und wuchs in Oradell (New Jersey) auf. Von 1941 bis 1943 studierte er am Pratt Institute in Brooklyn. Er diente von 1943 bis 1945 im Zweiten Weltkrieg, wo er an der Schlacht um die Bretagne teilnahm. Nach Kriegsende besuchte Kelly von 1946 bis 1948 die „School of The Museum of Fine Arts“ in Boston und ging danach zum weiteren Studium nach Paris an die École nationale supérieure des beaux-arts. 1950 unterrichtete er für ein Jahr an der „American School“ in Paris und besuchte die Ateliers von Constantin Brâncuși, Alexander Calder, Francis Picabia, Georges Vantongerloo, Alberto Magnelli, Hans Arp und Sophie Taeuber-Arp. 1954 kehrte er in die Vereinigten Staaten zurück und bezog ein Wohnatelier auf der Broad Street in New York. Wenig später bezog er ein Loft in Coenties Slip in Nachbarschaft zu Robert Indiana, Agnes Martin, James Rosenquist und Jack Youngerman. Im Jahr 1970 bezog er ein Atelier in Chatham sowie ein Wohnhaus nahe Spencertown, wo er zusammen mit seinem Partner, dem Fotografen Jack Shear, lebte.