Schwarz-Bart erhielt keine regelmäßige Schulbildung. 1943 schloss er sich der Résistance an und konnte nach einer Gefangennahme fliehen. Nach der Landung der Alliierten 1944 trat er in die französische Armee ein und wurde nach Kriegsende demobilisiert. Er schlug sich als Hilfsarbeiter mit Gelegenheitsarbeiten durch und widmete sich der Lektüre von Romanen; das Buch "Schuld und Sühne" beeindruckte ihn stark. Er holte das Abitur nach und erhielt ein Stipendium für das Studium an der Sorbonne. 1953 begann er Essays in einer Studentenzeitung zu publizieren. 1959 erschien sein Roman "Le dernier des justes", der sofort den Prix Goncourt erhielt und eine Million Mal verkauft wurde. Der Roman wurde in siebzehn Sprachen übersetzt. Der Roman schildert die Leidensgeschichte der jüdischen Familie Lévy, in der in jeder Generation seit einem Blutbad in York im Jahr 1135 ein „Gerechter“ vorkommt, und nimmt dabei Bezug auf die Legende von den 36 Gerechten. Der letzte in dieser Reihe, Ernie Lévy, erleidet sein Martyrium angesichts des Holocaust. Für das Buch erhielt Schwarz-Bart 1967 auch den Jerusalem-Preis.