En un principi es dedicà a la pintura, però no tardà a consagrar-se per complet a la música, que primer estudià amb un mestre italià anomenat Comoghio i després amb Elwart. Es donà a conèixer per un gran nombre de cors per a orfeó que assoliren gran popularitat i passaren a formar part del repertori de quasi totes les entitats d'aquell gènere. Rillé fou president de la comissió d'inspecció de l'ensenyança de cant en el departament del Sena, president honorari de la societat d'autors, compositors i editors de música, president de la comissió d'audicions musicals de l'Exposició Universal de París (1867) i de les de 1878, 1889 i 1900. A més, va tenir al seu càrrec, per espai de trenta-dos anys, un curs d'història de la música en la Sorbona.