Klein ble født i Nice, og begge foreldrene var malere. Klein selv begynte å male mens han studerte. Han reiste mye, men i 1955 bosatte han seg i Paris. Her holdt han også sin første utstilling i Club des Solitaires. I 1956 ble hans monokrome malerier vist på utstillinger på gallerier i Paris. Klein døde av et hjerteinfarkt i Paris i 1962.