Peyrefittes første roman, («Særskilte vennskap», 1944), og er kanskje hans mest kjente. Det er en fortelling om homofile kjærlighetsforhold på en fransk kostskole som åpenbart bygget på forfatterens eget liv. Romanen vant den ettertraktede litterære prisen Prix Renaudot i 1944. Romanen ble filmatisert under samme tittel i 1964. Under filmatiseringen møtte Peyrefitte den da 12 år gamle Alain-Philippe Malagnac. Peyrefitte fortalte selv om deres forhold i («Vår kjærlighet», 1967) og («Hjertebarn», 1978). Seksten år gammel ble Malagnac ansatt som sekretær av Peyrefitte, siden som forretningspartner og ble forfatterens store kjærlighet.