Faits: A. Me G._, avocat à N._, a été nommé avocat d'office pour défendre les intérêts de P._ dans une procédure administrative opposant celui-ci à la Caisse nationale suisse d'assurance en cas d'accidents (CNA), division Assurance militaire. Le 31 mai 2006, l'assureur a fixé à 900 fr. l'indemnité de l'avocat d'office, soit 750 fr. au titre des honoraires (350 fr. pour la procédure de préavis-décision et 400 fr. pour la procédure d'opposition), ainsi que 150 fr. de débours et frais. B. G._ a recouru contre cette décision devant le Tribunal administratif de la République et canton de Neuchâtel en concluant au paiement d'une indemnité de 3'333 fr. 45 au titre des honoraires, des débours et de taxe à la valeur ajoutée, sous déduction de la somme de 900 fr. déjà versée. Par lettre du 26 juin 2006, le Tribunal administratif a invité l'avocat à verser dans un délai de dix jours une avance de frais de 770 fr. en garantie des frais de procédure présumés. Par lettre du lendemain, l'avocat a contesté son obligation de verser une avance de frais, en invoquant le principe de la gratuité de la procédure en matière d'assurances sociales. Le 5 juillet 2006, le président du Tribunal administratif a répondu que la gratuité de la procédure ne s'appliquait qu'aux litiges en matière d'assurances sociales opposant un assuré à un assureur, voire des assureurs entre eux. En revanche, selon la jurisprudence neuchâteloise, la procédure portant sur l'indemnité allouée à l'avocat d'office était onéreuse. Le président a imparti à l'avocat un nouveau délai de dix jours pour s'acquitter de l'avance de frais requise, sous peine d'irrecevabilité. L'avocat ne s'est pas exécuté. Par décision du 31 août 2006, le président du Tribunal administratif a déclaré le recours irrecevable et mis à la charge de G._ un émolument de décision de 200 fr. et des débours par 40 fr. C. G._ a interjeté un recours de droit administratif dans lequel il a conclu à l'annulation de la décision attaquée et au renvoi de la cause à l'autorité précédente afin qu'elle statue au fond sur son recours. La CNA, division Assurance militaire, conclut au rejet du recours, ce que propose également l'Office fédéral de la santé publique (OFSP), Unité de direction Assurance-maladie et accidents. D. Le 5 juillet 2007, la Ire Cour de droit social du Tribunal fédéral a tenu une audience publique.