Faits :
A.
A.a. A._ souffre d'une gonarthrose tricompartimentale du genou droit consécutive à une fracture du plateau tibial externe droit survenue durant l'accomplissement de son école de recrues en 1968. L'assurance militaire a reconnu sa responsabilité.
Par lettre du 2 avril 2003, l'assuré a requis une indemnisation du fait de l'atteinte portée à son intégrité. L'assurance militaire a répondu qu'elle examinerait la demande en temps opportun, la situation n'étant pas stabilisée (lettre du 7 avril 2003).
En juin 2003, A._ a subi une arthroscopie au genou droit. L'évolution post-opératoire a été insatisfaisante. Une incapacité de travail de 70 % lui a été reconnue à partir du 1 er octobre 2003.
A.b. En 2004, les docteurs B._, spécialiste en médecine interne et rattaché au service médical de l'Office fédéral de l'assurance militaire (OFAM), et C._, spécialiste en chirurgie orthopédique, ont préconisé une implantation d'une prothèse totale du genou, afin que l'assuré retrouve une capacité de travail proche de la norme (cf. rapports des 11 février et 7 mai 2004). Ce dernier ayant exprimé des craintes à l'idée de se faire opérer, l'assurance militaire lui a proposé de l'indemniser en lui octroyant des indemnités journalières pour une période d'incapacité de travail théorique de 6 mois au taux de 100 % du 1 er août 2004 au 31 janvier 2005 puis une rente d'invalidité de 25 % à partir du 1 er février 2005 pour une durée indéterminée. En contre-partie, l'assuré renonçait à toute autre prestation pécuniaire de la part de l'assurance militaire du fait de la perte de gain relative à l'état de son genou droit, sauf aggravation imprévisible sans rapport direct avec la renonciation à subir l'implantation d'une prothèse totale du genou. L'assuré a accepté cette proposition, laquelle a été entérinée par décision du 7 septembre 2004.
En décembre 2006, A._ a fait savoir à l'assurance militaire qu'il révoquait sa renonciation à des prestations contenue sous chiffre 4 de la décision du 7 septembre 2004. Il demandait le versement d'une rente d'invalidité calculée sur un taux de 70 % à partir du 1 er décembre 2006. Par décision du 23 janvier 2007, confirmée sur opposition le 24 avril suivant, la Caisse nationale suisse d'assurance en cas d'accidents, Division Assurance militaire (ci-après: la CNA), a signifié à l'assuré que l'<ref-law> (renonciation à des prestations) n'était pas applicable dans son cas et a refusé de reconsidérer la décision du 7 septembre 2004.
Le Tribunal des assurances du canton de Vaud puis le Tribunal fédéral ont rejeté les recours formé par l'assuré contre la décision sur opposition (jugement du tribunal vaudois du 31 mars 2008), respectivement contre le jugement cantonal (cause 8C_495/2008).
A.c. Le 9 janvier 2009, faisant suite à une demande de l'assuré en vue d'obtenir une réparation morale, l'assurance militaire a répondu qu'elle examinerait son droit à une indemnisation pour atteinte à l'intégrité dès qu'elle serait en possession du dossier qui se trouvait au Tribunal fédéral. Par lettre du 1 er avril 2009, A._ a invité l'assurance militaire à examiner son droit à une rente pour atteinte à l'intégrité.
Dans un préavis du 19 février 2010, la CNA a proposé l'octroi d'une rente pour atteinte à l'intégrité dès le 1 er août 2009 pour une durée indéterminée. Son appréciation était fondée sur le rapport de la doctoresse D._, spécialiste en chirurgie et médecin d'arrondissement, laquelle a retenu une atteinte à l'intégrité de 5 %. La CNA a maintenu sa position par décision du 2 juin 2010, confirmée sur opposition le 8 septembre suivant.
Par arrêt du 10 janvier 2013, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud (ci-après: la Cour des assurances) a partiellement admis le recours formé contre la décision sur opposition du 8 septembre 2010, qu'elle a réformée en ce sens que l'assuré avait droit à une rente pour atteinte à l'intégrité de 10 % dès le 1 er mai 2004 pour une durée indéterminée.
Saisi d'un recours de la CNA, le Tribunal fédéral l'a rejeté par arrêt du 10 février 2014 (cause 8C_222/2103).
A.d. Par décision du 7 avril 2014, confirmée sur opposition le 3 novembre 2014, la CNA a reconnu le droit de l'assuré à une rente pour atteinte à l'intégrité annuelle de 2'000 fr. du 1 er mai 2004 au 31 décembre 2008, puis de 2'094 fr. dès le 1 er janvier 2009. La rente, rachetée et capitalisée au 1 er mai 2004, s'élevait à 30'363 fr.
B.
L'assuré a déféré la décision sur opposition du 3 novembre 2014 à la Cour des assurances. Il demandait à ce que la rente soit calculée en fonction des dispositions en vigueur en 2004 ainsi que le versement d'intérêts moratoires.
Par jugement du 4 novembre 2015, la Cour des assurances a rejeté le recours et confirmé la décision sur opposition.
C.
A._ forme un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut principalement à l'octroi de plus amples prestations de l'assurance militaire, assorties d'intérêts moratoires, et subsidiairement au renvoi de la cause à l'instance précédente pour nouvel examen et complément d'instruction, le tout sous suite de frais et dépens.
La CNA conclut au rejet du recours. La juridiction cantonale déclare se référer à son jugement et l'Office fédéral de la santé publique ne s'est pas déterminé.
A._ s'est encore exprimé le 19 février 2016.

Considérant en droit :
1.
Le litige porte sur le montant de la rente pour atteinte à l'intégrité et le droit du recourant à des intérêts moratoires pour les prestations dues par l'intimée dès le 1 er mai 2004.
Dès lors que le jugement entrepris porte sur le droit à des prestations en espèces de l'assurance militaire, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente (art. 97 al. 2 et 105 al. 3 LTF).
2.
Aux termes de l'art. 48 al. 1 de la loi fédérale du 19 juin 1992 sur l'assurance militaire (LAM; RS 833.1), si l'assuré souffre d'une atteinte notable et durable à son intégrité physique, mentale ou psychique, il a droit à une rente pour atteinte à l'intégrité. La rente pour atteinte à l'intégrité est fixée en pour-cent du montant annuel qui sert de base au calcul des rentes selon l'al. 4 et compte tenu de la gravité de l'atteinte à l'intégrité (art. 49 al. 2, première phrase, LAM).
Dans sa teneur au 1 er janvier 2004, l'al. 4 de l'<ref-law> prévoyait que le Conseil fédéral détermine, par voie d'ordonnance, le montant annuel qui sert de base au calcul de toutes les rentes pour atteinte à l'intégrité; il part du montant valable au début de l'entrée en vigueur de la présente loi et l'adapte périodiquement au changement des conditions, notamment à l'évolution des prix. Pour les nouvelles rentes fixées dès le 1 er janvier 2003, le montant annuel de base s'élevait à 31'871 fr. (cf. art. 26 al. 1 de l'ordonnance du 10 novembre 1993 sur l'assurance militaire [OAM; RS 833.11], en corrélation avec les art. 4 et 7 de l'ordonnance 03 sur l'adaptation des prestations de l'assurance militaire à l'évolution des salaires et des prix [RO 2002 3483]).
Lors de l'adoption de la loi fédérale du 17 juin 2005 sur le programme d'allégement budgétaire 2004 (ci-après: loi sur le programme d'allégement budgétaire; RO 2005 5427), les Chambres fédérales ont modifié l'<ref-law> relatif au montant annuel de base pour le calcul des rentes. Selon le nouvel <ref-law>, dans sa teneur en vigueur depuis le 1 er janvier 2006, le montant annuel qui sert de base au calcul des rentes s'élève à 20'000 fr; le Conseil fédéral l'adapte périodiquement à l'évolution des prix, par voie d'ordonnance.
3.
En résumé, la cour cantonale a retenu que, sur la base des dispositions transitoires de la loi sur le programme d'allégement budgétaire, l'application des montants - servant au calcul des rentes pour atteinte à l'intégrité - à leur valeur en 2004 était exclue. En outre, elle a considéré qu'on ne pouvait reprocher à l'intimée un comportement dilatoire ou contraire à la bonne foi, de sorte que le recourant ne pouvait s'en prévaloir pour requérir l'application des dispositions de l'ancien droit. Partant, il ne pouvait pas non plus prétendre le versement d'intérêts moratoires.
4.
4.1. Le recourant invoque la violation des dispositions transitoires de la loi sur le programme d'allégement budgétaire en relation avec la violation du principe inquisitoire consacré à l'<ref-law>.
Le recourant est d'avis qu'il doit pouvoir bénéficier des dispositions en vigueur avant 2006. Il fonde cette prétention en invoquant un retard de l'intimée à rendre sa décision sur la rente pour atteinte à l'intégrité et un oubli de sa part de traiter la question à l'occasion de la décision transactionnelle du 7 septembre 2004. En outre, conformément au principe inquisitoire, l'intimée avait le devoir de statuer sur cette question dès le mois de mai 2004, étant donné qu'il en avait formulé la demande et que son état de santé était suffisamment stabilisé. D'ailleurs, selon le recourant, il n'appartient pas aux assurés de demander à ce que les décisions soient rendues mais à l'assurance de les rendre en temps opportun.
4.2. En l'occurrence, on ne saurait reprocher à l'autorité intimée d'avoir violé le principe inquisitoire au motif qu'elle aurait tardé ou omis de rendre une décision sur le droit à une rente pour atteinte à l'intégrité. En effet, en 2003, elle considérait que la situation n'était pas stabilisée et ne permettait pas de se prononcer sur cette question (cf. son courrier du 7 avril 2003), ce qui n'est pas remis en cause par l'assuré. Par la suite, c'est elle qui, dans une lettre du 9 janvier 2009, a fait savoir à l'assuré qu'un examen de l'atteinte à l'intégrité pouvait avoir lieu, en précisant qu'elle attendait le retour du dossier, lequel se trouvait au Tribunal fédéral en raison d'une procédure pendante devant lui. Lorsqu'en juin 2010, l'intimée a rendu une première décision sur le droit à la rente pour atteinte à l'intégrité, elle estimait que l'état de santé du recourant était stabilisé à compter du mois d'août 2009 seulement, de sorte que la rente était due à partir de ce moment-là (cf. décision du 2 juin 2010, confirmée sur opposition le 8 septembre 2010). Certes, le début du droit à la rente a finalement été fixé au 1 er mai 2004, mais cet aspect du litige n'a été tranché définitivement que par jugement du 10 janvier 2013 de la Cour des assurances. En outre, il ne ressort pas des pièces versées au dossier qu'entre les courriers de l'intimée des 7 avril 2003 et 9 janvier 2009, le recourant l'avait sollicitée pour qu'elle rende une décision au sujet de la rente. Par ailleurs, la décision transactionnelle du 7 septembre 2004 portait uniquement sur la question de la perte de gain. Rien au dossier ne permet de retenir que l'intimée a oublié de se prononcer sur la question de l'atteinte à l'intégrité dans ce contexte-là.
4.3. En ce qui concerne les dispositions transitoires de la modification du 17 juin 2005, elles prévoient que les rentes pour atteinte à l'intégrité n'ayant pas encore fait l'objet d'une décision à l'entrée en vigueur de la présente modification sont fixées selon le nouveau droit (al. 1) et que les rentes en cours au moment de l'entrée en vigueur de la présente modification continuent à être versées selon l'ancien droit (al. 2).
En l'espèce, le droit du recourant à une rente pour atteinte à l'intégrité a fait l'objet d'une première décision le 2 juin 2010. Au regard du texte clair des dispositions transitoires, c'est à juste titre que les juges cantonaux ont refusé d'appliquer les <ref-law> et 26 al. 1 OAM dans leur teneur en vigueur au moment de l'ouverture du droit à la rente pour atteinte à l'intégrité, soit au 1 er mai 2004.
5.
5.1. Le recourant se plaint de la violation des principes de l'égalité de traitement (art. 8 Cst.) et de la bonne foi de l'administration (art. 9 Cst.). Invoquant l'oubli de l'intimée de rendre une décision sur le droit à la rente pour atteinte à l'intégrité, il demande à être traité de la même manière que les assurés dont l'état de santé était stabilisé en 2004 et qui ont pu bénéficier des dispositions en vigueur à cette période. En outre, l'intimée aurait violé le principe de la bonne foi en ne l'informant pas correctement sur son droit à la rente et en rendant initialement une décision erronée quant au taux et au début du droit à la rente.
5.2. En l'occurrence, le grief tiré de la violation du principe de l'égalité de traitement est mal fondé. En effet, on ne peut faire grief à l'intimée d'avoir tardé ou omis de se prononcer sur la rente pour atteinte à l'intégrité (supra consid. 4.2). Au surplus, la différence de traitement résulte des dispositions transitoires de la loi sur le programme d'allégement budgétaire, que le Tribunal fédéral est tenu d'appliquer (art. 190 Cst.).
5.3. S'agissant du principe de la bonne foi, il exige que l'administration et les administrés se comportent réciproquement de manière loyale. L'administration doit en particulier s'abstenir de tout comportement propre à tromper l'administré et ne saurait tirer aucun avantage des conséquences d'une incorrection ou insuffisance de sa part. A certaines conditions, le citoyen peut ainsi exiger de l'autorité qu'elle se conforme aux promesses ou assurances qu'elle lui a faites et ne trompe pas la confiance qu'il a légitimement placée dans celles-ci (cf. <ref-ruling> consid. 6.2 p. 538; <ref-ruling> consid. 3.6.2 p. 193 et les références citées). De la même façon, le droit à la protection de la bonne foi peut aussi être invoqué en présence d'un simple comportement de l'administration susceptible d'éveiller chez l'administré une attente ou une espérance légitime. Entre autres conditions, l'autorité doit être intervenue à l'égard du citoyen dans une situation concrète et celui-ci doit avoir pris, en se fondant sur les promesses ou le comportement de l'administration, des dispositions qu'il ne saurait modifier sans subir de préjudice (cf. <ref-ruling> consid. 7.1 p. 381 et les références).
En l'espèce, il est douteux que le grief du recourant réponde aux exigences de motivation accrue de l'art. 106 al 2 LTF. Quoi qu'il en soit, on ne voit pas que l'intimée aurait adopté un comportement contraire à la bonne foi, au motif qu'elle n'a pas statué avant 2006 sur la question du droit à la rente pour atteinte à l'intégrité. On rappellera qu'elle considérait que la rente n'était due qu'à partir du mois d'août 2009 (cf. décision du 2 juin 2010, confirmée sur opposition le 8 septembre 2010). Le fait que le début du droit à la rente ait finalement été fixé au 1 er mai 2004 par le juge cantonal ne suffit pas pour retenir une violation du principe de la bonne foi. Par ailleurs, le recourant n'indique pas en quoi il n'aurait pas été informé correctement de ses droits et ne prétend pas non plus qu'il aurait pris des dispositions préjudiciables sur la base du comportement de l'intimée.
6.
6.1. Le recourant invoque enfin la violation de l'<ref-law> et soutient qu'il a droit à des intérêts moratoires sur les prestations dues depuis le 1 er mai 2004. Selon lui, l'intimée a adopté un comportement illicite et dilatoire. Le recourant fait également valoir qu'il n'est pas admissible de percevoir des prestations une dizaine d'années après la date à partir de laquelle elles sont dues, et que, comme son état de santé était considéré comme stabilisé au 1 er mai 2004, une décision pouvait être rendue à ce moment-là.
6.2. Selon l'<ref-law>, lequel déroge à l'<ref-law>, un intérêt n'est dû qu'en cas de comportement dilatoire ou illicite de l'assurance militaire. Cette disposition de la LAM concrétise la jurisprudence antérieure à l'entrée en vigueur de la LPGA (<ref-ruling> consid 2). L'obligation de payer un intérêt de retard n'existe que lorsque l'administration viole grossièrement ses devoirs, car sinon chaque décision erronée en matière de fixation de prestations pourrait donner lieu à des intérêts moratoires, ce que le législateur a précisément voulu éviter. L'<ref-law> s'applique aux décisions de refus de prestations qui violent la loi ainsi qu'aux décisions en matière de prestations rendues au mépris d'éléments de faits essentiels ou fondées sur une instruction manifestement insuffisante (cf. arrêt 8C_775/2011 du 10 septembre 2012 consid. 2; JÜRG MAESCHI, Kommentar zum Bundesgesetz über die Militärversicherung [MVG], 2000, n° 10 s. ad <ref-law>). Cela étant, le laps de temps entre la naissance du droit aux prestations et leur perception par l'assuré ne suffit pour lui reconnaître le droit à des intérêts moratoires. Pour le reste, on ne saurait parler de comportement dilatoire ou illicite de la part de l'intimée (cf. supra consid. 4.2). Le grief est donc mal fondé.
7.
De ce qui précède, il résulte que le recours doit être rejeté.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral de la santé publique.
Lucerne, le 9 mai 2016
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Castella