Daniélous mor, Madeleine Clamorgan, tilhørte en gammel normannisk adelsslekt og grunnla en katolsk kongregasjon for lærerinner dedisert til Frans Xavier. Hans far, Charles Daniélou, var derimot antiklerikal og en bretonsk politiker som flere ganger satt i Frankrikes regjering.