Faits :
A.
A.a. Le 12 décembre 1991, A._ est tombé d'un arbre (d'une hauteur de 3 à 4 mètres), alors qu'il travaillait comme aide-jardinier au service du pépiniériste B._ à U._. Il a subi une fracture comminutive intra-articulaire déplacée du radius distal droit réduite par ostéosynthèse le même jour à l'Hôpital C._. La Vaudoise générale Compagnie d'Assurances SA (ci-après: la Vaudoise), auprès de laquelle il était assuré contre le risque d'accidents, a pris en charge le cas, qui a nécessité plusieurs autres opérations (notamment une arthrodèse partielle radio-carpienne) et entraîné une longue période d'incapacité de travail, avec ensuite une reprise partielle d'activité (d'abord à 25 %, puis à 33 % et enfin à 50 % dès le 1er janvier 1995).
Le 19 septembre 1995, A._ a été victime d'un accident de la circulation qui a provoqué notamment une fracture luxation de la hanche droite. La Vaudoise est intervenue mais a réduit ses prestations en espèces de 10 %, au motif que l'assuré ne portait pas la ceinture de sécurité au moment de l'accident.
Chargé de réaliser une expertise, le docteur D._ a conclu que l'assuré présentait une capacité de travail résiduelle de 50 % dans une activité semi-assise en raison essentiellement de douleurs séquellaires à la hanche liées à une arthrose postérieure débutante et occasionnant une boiterie, une diminution du périmètre de marche ainsi qu'une difficulté à rester assis (rapport du 30 janvier 1998). Se fondant sur cette expertise, l'assureur-accidents a alloué à A._, pour les suites des deux accidents, une rente LAA fondée sur un degré d'invalidité de 66 2/3 % dès le 1er mars 1998, de même qu'une indemnité pour atteinte à l'intégrité de 45 % (décision du 4 mars 1998).
A.b. Après un rapport de visite au domicile de A._ de deux de ses inspecteurs de sinistre en date du 1er décembre 2011, la Vaudoise a demandé au bureau d'enquêtes E._ d'effectuer une surveillance de l'assuré, qui a eu lieu entre le 2 avril et le 28 août 2012. Le dernier jour de cette surveillance, A._ a été convoqué à un entretien dans les locaux de l'assureur où on l'a interrogé sur son état de santé et montré les images issues de l'observation dont il avait fait l'objet. La Vaudoise a ensuite suspendu le versement de la rente à compter du 1er septembre 2012 et mandaté les docteurs F._, spécialiste en orthopédie, et G._, psychiatre, pour effectuer un bilan de santé de l'assuré en leur mettant à disposition le matériel d'observation. L'orthopédiste a constaté quelques signes dégénératifs mais pas d'arthrose, même débutante, à la hanche sur les clichés radiologiques qu'il avait nouvellement fait réaliser. Sur la base de son examen clinique de l'assuré et de ce que ce dernier s'était montré capable de faire lors de la surveillance (conduire une voiture, se pencher en avant et même s'accroupir, monter les escaliers et marcher sans boiterie, du moins sur une courte distance), il a retenu que l'intéressé était apte à exercer une activité lucrative adaptée s'étendant sur deux fois trois heures par jour en évitant les stations debout prolongées et les marches dépassant 500 mètres, une telle activité étant exigible dès le mois de mars 2012 (rapport du 9 juillet 2013). Quant au psychiatre, il a posé le diagnostic d'un syndrome douloureux somatoforme persistant (F45.4) sans répercussion sur la capacité de travail (rapport du 19 juillet 2013).
Par décision du 25 octobre 2013, confirmée sur opposition le 19 septembre 2014, la Vaudoise a réduit la rente LAA à 20 % à compter du 1er novembre 2008 en précisant que les rentes allouées à tort depuis cette date, correspondant à un montant de 62'114 fr., allaient être compensées avec les rentes futures.
B.
Par jugement du 19 février 2016, la Cour des assurances sociales du Tribunal cantonal fribourgeois a partiellement admis le recours de l'assuré. Elle a annulé les décisions litigieuses, et renvoyé la cause à l'assureur-accidents pour qu'il procède à la réduction de la rente d'invalidité, désormais fixée à 20 %, dès le mois de mars 2012 et qu'il se prononce également sur la restitution des prestations indues touchées à partir de cette date.
C.
A._ interjette un recours en matière de droit public contre ce jugement, dont il requiert l'annulation. Il conclut à ce que la Vaudoise lui verse une rente LAA fondée sur un degré d'invalidité de 55 % dès le 1er novembre 2013. Il sollicite également le bénéfice de l'assistance judiciaire.
La Vaudoise conclut au rejet du recours. L'Office fédéral de la santé publique ne s'est pas déterminé.
D.
Par ordonnance du 21 octobre 2016, le Tribunal fédéral a rejeté la demande d'assistance judiciaire de l'assuré, celui-ci n'ayant pas établi son indigence. Le 17 novembre 2016, le recourant a demandé au tribunal de reconsidérer cette décision et de lui accorder l'assistance judiciaire.

Considérant en droit :
1.
L'arrêt attaqué s'analyse, d'un point de vue purement formel, comme une décision de renvoi car il ne met pas un terme à la procédure. En principe, les décisions de renvoi sont des décisions incidentes qui ne peuvent faire l'objet d'un recours au Tribunal fédéral qu'aux conditions de l'<ref-law>. Elles sont toutefois tenues pour finales lorsque le renvoi a lieu uniquement en vue de son exécution par l'autorité inférieure sans que celle-ci ne dispose encore d'une liberté d'appréciation notable (<ref-ruling> consid. 4.2 p. 285 s.). Tel est le cas en l'espèce dès lors que les juges cantonaux retiennent que la rente LAA de l'assuré doit être réduite de 66 2/3 % à 20 % dès le mois de mars 2012, et renvoient la cause à la Vaudoise afin qu'elle rende une décision dans ce sens assortie d'une décision de restitution des prestations à partir de cette date.
2.
Le litige porte sur la réduction de la rente LAA allouée à l'assuré depuis le 1er mars 1998 dans le contexte d'une procédure de révision (<ref-law> [RS 830.1]), en particulier sur le point de savoir à partir de quel moment et dans quelle mesure la rente doit être réduite et si, le cas échéant, des prestations ont été indûment touchées.
Lorsque la décision qui fait l'objet d'un recours concerne l'octroi ou le refus de prestations, le Tribunal fédéral n'est pas lié par les faits établis par la juridiction précédente (<ref-law>).
3.
3.1. Si le taux d'invalidité du bénéficiaire de la rente subit une modification notable, la rente est, d'office ou sur demande, révisée pour l'avenir, à savoir augmentée ou réduite en conséquence, ou encore supprimée (<ref-law>). Tout changement important des circonstances propre à influencer le degré d'invalidité, et donc le droit à la rente, peut motiver une révision. Pour déterminer si un tel changement s'est produit, il y a lieu de comparer les faits tels qu'ils se présentaient au moment de la dernière décision entrée en force reposant sur un examen matériel du droit à la rente avec une constatation des faits pertinents, une appréciation des preuves et une comparaison des revenus conformes au droit, et les circonstances régnant à l'époque de la décision litigieuse (<ref-ruling> consid. 5 p. 110 ss).
3.2. Pour évaluer le taux d'invalidité, le revenu que l'assuré aurait pu obtenir s'il n'était pas invalide est comparé avec celui qu'il pourrait obtenir en exerçant l'activité qui peut raisonnablement être exigée de lui après les traitements et les mesures de réadaptation, sur un marché du travail équilibré (<ref-law>). La comparaison des revenus s'effectue, en règle générale, en chiffrant aussi exactement que possible les montants de ces deux revenus et en les confrontant l'un avec l'autre, la différence permettant de calculer le taux d'invalidité (méthode générale de comparaison des revenus; <ref-ruling> consid. 1 p. 30; voir également SVR 2010 IV n° 11 p. 35, 9C_236/2009, consid. 3.1).
4.
4.1. Procédant à la comparaison des situations médicales déterminantes, la cour cantonale a constaté que l'état de santé de l'assuré s'était amélioré depuis l'attribution de la rente et qu'il disposait désormais d'une capacité de travail résiduelle de 70 % dans une activité adaptée à ses limitations fonctionnelles. Les conditions d'une révision au sens de l'<ref-law> étaient ainsi réunies. En ce qui concerne le moment à partir duquel cette amélioration s'était produite, la cour cantonale n'a pas suivi la Vaudoise qui soutenait qu'elle était intervenue plusieurs années avant la mise en place de la surveillance de l'assuré, et a fixé la date de celle-ci au mois de mars 2012 sur la base de l'avis exprimé par le docteur F._. A cet égard, elle a nié que l'assuré avait trompé le médecin qui l'avait expertisé à l'époque de l'octroi de la rente, considérant qu'il pouvait être uniquement lui être reproché de ne pas avoir spontanément annoncé une amélioration de son état de santé dès le 1er mars 2012. A partir de ce moment-là, la rente de 66 2/3 % était indue et pouvait être révisée avec un effet rétroactif à cette date. Enfin, pour déterminer le nouveau taux d'invalidité, la cour cantonale a fait sienne le calcul de la comparaison des revenus effectué par l'Office de l'assurance-invalidité du canton de Fribourg qui avait également révisé et supprimé, avec effet au 5 octobre 2012, la rente entière qu'il allouait à l'assuré depuis le 1er septembre 1996. Cet office avait fixé le revenu sans invalidité à 47'980 fr. 80 (40'800 fr. en 1999 + 17,5 % d'indexation) et le revenu d'invalidité à 38'533 fr. 70, ce qui donnait une incapacité de gain de 19,68 %, respectivement un taux d'invalidité de 20 % (après arrondissement).
4.2. Le recourant ne conteste pas que l'expertise du docteur F._ justifie l'admission d'un motif de révision de sa rente au sens de l'<ref-law>. Il critique en revanche le caractère rétroactif de celle-ci. Se référant à l'arrêt <ref-ruling>, il fait valoir que sa rente ne peut être révisée que pour l'avenir, soit dans son cas, à partir du 1er novembre 2013. Le recourant critique également la comparaison des revenus effectuée par les premiers juges.
5.
5.1.
5.1.1. Comme le dit à juste titre le recourant, il ressort clairement du texte légal de l'<ref-law> que la révision d'une rente en cours fondée sur un changement de circonstances s'opère pour l'avenir. La jurisprudence a précisé qu'il est admissible qu'elle prenne effet à partir du 1er jour du mois suivant la date de notification de la décision de l'assureur-accidents lorsqu'il est établi que les conditions matérielles de la révision sont réunies à cette même date (cf. <ref-ruling>).
5.1.2. En matière d'assurance-invalidité, l'<ref-law> (dans sa teneur avant l'entrée en vigueur de la modification intervenue le 1er janvier 2015; RO 2014 3177) permet à l'assurance de réviser une prestation avec effet rétroactif si l'assuré se l'est fait attribuer irrégulièrement ou s'il a manqué, à un moment donné, à l'obligation de renseigner qui lui incombe raisonnablement en vertu de l'<ref-law>. Encore récemment, le Tribunal fédéral a rappelé que la question de savoir si cette réglementation est applicable par analogie en matière d'assurance-accidents n'a pas été tranchée explicitement jusqu'ici (voir arrêt 8C_883/2015 du 21 octobre 2016 consid. 7.3.1 et les références citées). En l'occurrence, même si l'on devait y répondre par l'affirmative ici, on ne peut confirmer la solution de la juridiction cantonale pour les raisons qui vont suivre.
5.1.3. En vertu de l'<ref-law>, l'ayant droit, ses proches ou les tiers auxquels une prestation est versée sont tenus de communiquer à l'assureur ou, selon les cas, à l'organe compétent toute modification importante des circonstances déterminantes pour l'octroi d'une prestation. L'obligation d'annoncer toute modification des circonstances déterminantes est l'expression du principe de la bonne foi entre administration et administré (<ref-ruling> consid. 2.4.5 p. 17 et les références). Pour qu'il y ait violation de l'obligation de renseigner, il faut qu'il y ait un comportement fautif; d'après une jurisprudence constante, une légère négligence suffit déjà (<ref-ruling> consid. 2a p. 101). L'<ref-law> ne dit pas quelles conséquences il faut attacher au fait qu'un assuré viole son obligation. A supposer donc qu'on admette, en application analogique de l'ancienne version de l'<ref-law>, d'en faire découler la possibilité pour l'assureur-accidents de réviser avec effet rétroactif les prestations qu'il a allouées, encore faut-il qu'il existe un lien de causalité entre le comportement à sanctionner (la violation de l'obligation d'annoncer) et le dommage causé (la perception de prestations indues) (voir à ce sujet <ref-ruling> consid. 4a p. 435; <ref-ruling> consid. 3b p. 219; arrêt 9C_454/2012 du 18 mars 2013 consid. 7.3, non publié in <ref-ruling>, mais in SVR 2013 IV n° 24 p. 66).
5.1.4. Or, on doit nier l'existence d'un tel lien de causalité dans les circonstances d'espèce. A la date déterminante où on aurait pu attendre de l'assuré qu'il annonce spontanément à la Vaudoise une amélioration de son état de santé, celle-ci l'avait déjà mis sous surveillance. Le comportement du recourant n'a donc eu aucune influence sur la suite qui a été donnée à cette surveillance. Il aurait été en toute hypothèse nécessaire de mettre en oeuvre une instruction médicale pour déterminer les répercussions de la modification de l'état de santé du recourant sur sa capacité de travail. Par conséquent, on ne saurait admettre que la révision de la rente puisse avoir un effet rétroactif. Celle-ci doit bien plutôt prendre effet le 1er jour du mois qui suit la notification de la décision (du 25 octobre 2013), soit en l'espèce le 1er novembre 2013.
5.2.
5.2.1. Pour procéder à la comparaison des revenus, il convient de se placer au moment déterminant de la révision de la rente, soit en novembre 2013 et non en 2010, année de référence ressortant de la décision de l'assurance-invalidité et reprise dans l'arrêt attaqué.
5.2.2. En ce qui concerne tout d'abord le revenu sans invalidité, on rappellera qu'est déterminant le salaire qu'aurait effectivement réalisé l'assuré sans atteinte à la santé, selon le degré de la vraisemblance prépondérante. En règle générale, on se fonde sur le dernier salaire réalisé avant l'atteinte à la santé adapté à l'évolution nominale des salaires (<ref-ruling> consid. 3.3.2 p. 30).
En l'espèce, il y a lieu s'en tenir au dernier revenu indiqué par l'ancien employeur dans la déclaration d'accident qu'il a signée le 28 septembre 1995, soit 3'400 fr. par mois, respectivement 40'800 fr. par an. A l'instar de la cour cantonale et contrairement à ce que voudrait le recourant, on ne saurait retenir le montant de 49'272 fr. 20 mentionné dans la décision initiale de rente de l'intimée, qui n'est étayé par aucune pièce au dossier. De plus, ce montant est cité sous la rubrique "gain assuré" qui sert au calcul de la rente et ne doit pas être confondu avec le revenu sans invalidité. Le gain assuré comprend en particulier les allocations familiales, lesquelles ne sont pas prises en compte dans le calcul du revenu sans invalidité (cf. arrêt 8C_733/2013 du 5 septembre 2014 consid. 5 et la référence). Le revenu annuel déterminant de 40'800 fr. doit encore être adapté à l'évolution des salaires nominaux. De 1995 à 2013, l'indice est passé de 1'789 à 2'204 (Evolution des salaires 2013 publié par l'Office fédéral de la statistique [OFS], p. 27, T 39). Il en résulte un salaire annuel de 50'264 fr. 50 [40'800 x 2'204 : 1'789].
5.2.3. Pour le revenu d'invalide, on peut recourir aux données salariales statistiques valables pour l'année 2012 (voir <ref-ruling> consid. 2.5.8.1 in fine p. 190). Le salaire de référence est celui auquel peuvent prétendre les hommes effectuant des activités simples et répétitives (niveau de compétence 1) dans le secteur privé, soit 5'210 fr. par mois (Enquête sur la structure des salaires 2012 [ESS] publiée par l'OFS, p. 35, TA1). Comme les salaires bruts standardisés tiennent compte d'un horaire de travail de quarante heures, soit une durée hebdomadaire inférieure à la moyenne usuelle dans les entreprises en 2013 (41,7 heures par semaine), ce montant doit être porté à 5'431 fr. Après adaptation de ce chiffre à l'évolution des salaires selon l'indice des salaires nominaux pour les hommes de l'année 2013 (+ 0,8 % en 2013; Evolution des salaires 2013 publié par l'OFS, p. 22, T1.1.10), on obtient un revenu de 5'474 fr. par mois, soit 65'688 fr. par an. Compte tenu d'une capacité résiduelle de travail de 70 % et d'un facteur de réduction sur le salaire statistique qu'il convient de fixer à 15 % eu égard aux autres circonstances personnelles du recourant (en particulier son âge, ses limitations fonctionnelles et son taux d'occupation; cf. <ref-ruling>), le revenu d'invalide s'élève à 39'085 fr.
5.2.4. La comparaison des deux revenus aboutit à un degré d'invalidité (arrondi) de 22 % [ (50'264 fr. 50 - 39'085 fr.) : 50'264 fr. 50 x 100 = 22,24].
5.3. Il s'ensuit que la rente d'invalidité LAA du recourant doit être réduite à 22 % dès le 1er novembre 2013, étant précisé que le droit à la rente de 66 2/3 % doit être maintenu jusque-là. Le recours est partiellement admis en ce sens.
6.
Dans son écriture du 17 novembre 2016, le recourant n'apporte pas d'éléments nouveaux justifiant de reconsidérer l'ordonnance du 21 octobre 2016. En particulier, il n'a derechef produit aucune pièce propre à établir son indigence comme le Tribunal fédéral le lui avait vainement demandé avant de rendre ladite ordonnance.
Vu l'issue du litige, les frais judiciaires seront partagés à raison d'un quart à la charge de l'intimée et de trois quarts à la charge du recourant (<ref-law>). Le recourant a droit à une indemnité de dépens réduite à charge de l'intimée (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. La décision de la Cour des assurances sociales du Tribunal cantonal fribourgeois du 19 février 2016 et la décision de la Vaudoise du 19 septembre 2014 sont annulées. La rente d'invalidité LAA du recourant est réduite à 22 % à partir du 1er novembre 2013. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis pour 600 fr. à la charge du recourant, et pour 200 fr. à la charge de l'intimée.
3.
Une indemnité de dépens de 1'200 fr. (y compris la taxe à la valeur ajoutée) est allouée au recourant à la charge de l'intimée.
4.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal fribourgeois et à l'Office fédéral de la santé publique.
Lucerne, le 15 mars 2017
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : von Zwehl