På 1600-tallet var Anne et fransk mannsnavn, og Anne Danican fikk fornavnet fra fadderen, hertug Anne de Noailles. Philidors far, André Danican Philidor den eldre, var hoffmusiker og komponist. Også halvbroren, François-André Danican Philidor, var komponist, men han er mest kjent som sjakkspiller.