Faits : A. A.a. A._ souffre d'une gonarthrose tricompartimentale du genou droit consécutive à une fracture du plateau tibial externe droit survenue durant l'accomplissement de son école de recrues en 1968. L'assurance militaire a reconnu sa responsabilité. Par lettre du 2 avril 2003, l'assuré a requis une indemnisation du fait de l'atteinte portée à son intégrité. L'assurance militaire a répondu qu'elle examinerait la demande en temps opportun, la situation n'étant pas stabilisée (lettre du 7 avril 2003). En juin 2003, A._ a subi une arthroscopie au genou droit. L'évolution post-opératoire a été insatisfaisante. Une incapacité de travail de 70 % lui a été reconnue à partir du 1 er octobre 2003. A.b. En 2004, les docteurs B._, spécialiste en médecine interne et rattaché au service médical de l'Office fédéral de l'assurance militaire (OFAM), et C._, spécialiste en chirurgie orthopédique, ont préconisé une implantation d'une prothèse totale du genou, afin que l'assuré retrouve une capacité de travail proche de la norme (cf. rapports des 11 février et 7 mai 2004). Ce dernier ayant exprimé des craintes à l'idée de se faire opérer, l'assurance militaire lui a proposé de l'indemniser en lui octroyant des indemnités journalières pour une période d'incapacité de travail théorique de 6 mois au taux de 100 % du 1 er août 2004 au 31 janvier 2005 puis une rente d'invalidité de 25 % à partir du 1 er février 2005 pour une durée indéterminée. En contre-partie, l'assuré renonçait à toute autre prestation pécuniaire de la part de l'assurance militaire du fait de la perte de gain relative à l'état de son genou droit, sauf aggravation imprévisible sans rapport direct avec la renonciation à subir l'implantation d'une prothèse totale du genou. L'assuré a accepté cette proposition, laquelle a été entérinée par décision du 7 septembre 2004. En décembre 2006, A._ a fait savoir à l'assurance militaire qu'il révoquait sa renonciation à des prestations contenue sous chiffre 4 de la décision du 7 septembre 2004. Il demandait le versement d'une rente d'invalidité calculée sur un taux de 70 % à partir du 1 er décembre 2006. Par décision du 23 janvier 2007, confirmée sur opposition le 24 avril suivant, la Caisse nationale suisse d'assurance en cas d'accidents, Division Assurance militaire (ci-après: la CNA), a signifié à l'assuré que l'art. 23 al. 1 LPGA (renonciation à des prestations) n'était pas applicable dans son cas et a refusé de reconsidérer la décision du 7 septembre 2004. Le Tribunal des assurances du canton de Vaud puis le Tribunal fédéral ont rejeté les recours formé par l'assuré contre la décision sur opposition (jugement du tribunal vaudois du 31 mars 2008), respectivement contre le jugement cantonal (cause 8C_495/2008). A.c. Le 9 janvier 2009, faisant suite à une demande de l'assuré en vue d'obtenir une réparation morale, l'assurance militaire a répondu qu'elle examinerait son droit à une indemnisation pour atteinte à l'intégrité dès qu'elle serait en possession du dossier qui se trouvait au Tribunal fédéral. Par lettre du 1 er avril 2009, A._ a invité l'assurance militaire à examiner son droit à une rente pour atteinte à l'intégrité. Dans un préavis du 19 février 2010, la CNA a proposé l'octroi d'une rente pour atteinte à l'intégrité dès le 1 er août 2009 pour une durée indéterminée. Son appréciation était fondée sur le rapport de la doctoresse D._, spécialiste en chirurgie et médecin d'arrondissement, laquelle a retenu une atteinte à l'intégrité de 5 %. La CNA a maintenu sa position par décision du 2 juin 2010, confirmée sur opposition le 8 septembre suivant. Par arrêt du 10 janvier 2013, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud (ci-après: la Cour des assurances) a partiellement admis le recours formé contre la décision sur opposition du 8 septembre 2010, qu'elle a réformée en ce sens que l'assuré avait droit à une rente pour atteinte à l'intégrité de 10 % dès le 1 er mai 2004 pour une durée indéterminée. Saisi d'un recours de la CNA, le Tribunal fédéral l'a rejeté par arrêt du 10 février 2014 (cause 8C_222/2103). A.d. Par décision du 7 avril 2014, confirmée sur opposition le 3 novembre 2014, la CNA a reconnu le droit de l'assuré à une rente pour atteinte à l'intégrité annuelle de 2'000 fr. du 1 er mai 2004 au 31 décembre 2008, puis de 2'094 fr. dès le 1 er janvier 2009. La rente, rachetée et capitalisée au 1 er mai 2004, s'élevait à 30'363 fr. B. L'assuré a déféré la décision sur opposition du 3 novembre 2014 à la Cour des assurances. Il demandait à ce que la rente soit calculée en fonction des dispositions en vigueur en 2004 ainsi que le versement d'intérêts moratoires. Par jugement du 4 novembre 2015, la Cour des assurances a rejeté le recours et confirmé la décision sur opposition. C. A._ forme un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut principalement à l'octroi de plus amples prestations de l'assurance militaire, assorties d'intérêts moratoires, et subsidiairement au renvoi de la cause à l'instance précédente pour nouvel examen et complément d'instruction, le tout sous suite de frais et dépens. La CNA conclut au rejet du recours. La juridiction cantonale déclare se référer à son jugement et l'Office fédéral de la santé publique ne s'est pas déterminé. A._ s'est encore exprimé le 19 février 2016.