Su padre, André Danican era músico de Luis XIV y, según la tradición, el rey Luis XIII dio a su tío abuelo Michel Danican el apodo "Philidor" al comparar su forma de tocar el oboe con la del famoso músico italiano Filidori; desde entonces, todos los miembros de la familia utilizaron ese sobrenombre.