Sachverhalt:
A.
Die Schweizerische Unfallversicherungsanstalt (SUVA) sprach dem 1966 geborenen A._ für die Folgen eines am 27. März 1999 erlittenen Unfalls mit Verfügung vom 27. Februar 2008 rückwirkend auf den 1. Juli 2002 eine Invalidenrente auf der Basis einer Erwerbsunfähigkeit von 71 % sowie eine Integritätsentschädigung zu. Die unangefochten in Rechtskraft erwachsene Verfügung beruhte massgeblich auf dem am 29. März 2006 erstellten, auf Ergänzungsfragen hin am 20. Mai 2007 ergänzten Gutachten der Gutachterstelle B._.
Am 30. Oktober 2008 erhielt die SUVA Kenntnis von im Auftrag der Basler Versicherungen bereits 2007, aber auch 2008 durchgeführten Observationen und liess die dazugehörigen Akten der Rehaklinik C._ mit der Frage zukommen, ob sich die bei den Observierungen festgestellten Aktivitäten von A._ mit den bisherigen Befunden vereinbaren liessen. Die Rehaklinik bezog dazu am 11. Februar 2009 Stellung. Kurz darauf erhielt die SUVA Kenntnis vom von der IV-Stelle Luzern am 2. Juli 2008 in Auftrag gegebenen interdisziplinären Gutachten der MEDAS vom 25. Mai 2009, später vom beim Verwaltungsgericht des Kantons Luzern (heute: Kantonsgericht Luzern) angefochtenen Einspracheentscheid der IV-Stelle vom 28. Mai 2010, worin A._ vom 1. März 2000 bis 31. Dezember 2000 sowie vom 1. März 2001 bis zum 30. November 2008 jeweils befristet eine Viertelrente zugesprochen wurde. Daraufhin verfügte die SUVA am 11. Februar 2011 erneut über den UV-Rentenanspruch, setzte diesen dabei rückwirkend ab 1. Dezember 2008 neu auf die Basis einer Erwerbsunfähigkeit von 37 % herab. Zugleich forderte sie Fr. 44'453.90 an zu viel bezahlten Leistungen zurück. Auf Einsprache hin hielt sie mit Entscheid vom 12. April 2012 daran fest.
B.
Dagegen liess A._ beim Kantonsgericht Luzern Beschwerde erheben mit dem Antrag, in Aufhebung des Einspracheentscheids vom 12. April 2012 sei die SUVA zur Weiterausrichtung der Invalidenrente auf bisheriger Grundlage zu verpflichten.
Das Kantonsgericht entschied in der Invalidenversicherungsangelegenheit am 16. Juni 2012, sprach dabei A._ in Abänderung des Einspracheentscheids der IV-Stelle vom 28. Mai 2010 vom 1. März 2000 bis 31. Dezember 2003 mit Ausnahme der Monate Januar und Februar 2001 eine halbe und vom 1. Januar 2004 bis 30. November 2008 eine Dreiviertelsrente zu. Das Bundesgericht bestätigte diesen Entscheid mit Urteil 9C_604/2012 vom 16. November 2012.
Am 11. März 2014 hob das Kantonsgericht schliesslich den Einspracheentscheid der SUVA vom 12. April 2012 mit der Feststellung auf, A._ habe weiterhin Anspruch auf eine Invalidenrente bei einer Erwerbsunfähigkeit von 71 %.
C.
Dagegen führt die SUVA Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheids sei ihr Einspracheentscheid vom 12. April 2012 zu bestätigen.
Während das Bundesamt für Gesundheit auf eine Vernehmlassung verzichtet, lässt A._ die Abweisung der Beschwerde beantragen, soweit darauf einzutreten sei; eventualiter sei die Sache an die Beschwerdeführerin, subeventuell an die Vorinstanz, zwecks Einholung eines neutralen interdisziplinären Gutachtens und funktionaler Leistungsfähigkeitsprüfung in einer zumutbaren Tätigkeit mit anschliessendem neuen Entscheid zurückzuweisen.

Erwägungen:
1.
1.1. Das kantonale Gericht hat die massgeblichen Bestimmungen und Grundsätze zur materiellen Rentenrevision (<ref-law>; <ref-ruling> E. 3 S. 132) zutreffend dargelegt. Gleiches gilt für die Ausführungen zu <ref-law> (prozessuale Revision) und <ref-law> (Wiedererwägung), aufgrund welcher Bestimmungen mittels subsituierter Begründung die Herabsetzung oder Aufhebung der Invalidenrente im Rahmen eines Revisionsverfahrens nach <ref-law> bestätigt werden kann.
1.2. Hervorzuheben ist, dass Anlass zur Rentenrevision nach <ref-law> jede wesentliche Änderung in den tatsächlichen Verhältnissen seit Zusprechung der Rente gibt, die geeignet ist, den Invaliditätsgrad und damit den Anspruch zu beeinflussen (<ref-ruling> E. 3 S. 132). Liegt in diesem Sinne ein Revisionsgrund vor, ist der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht allseitig zu prüfen (<ref-ruling> E. 4b S. 200; SVR 2011 IV Nr. 37 S: 109, 9C_721/2010 E. 1; 2004 IV Nr. 17 S. 53, I 526/02 E. 2.3; 2011 IV Nr. 37 S. 109, 9C_721/2010 E. 1). Zeitlicher Referenzpunkt für die Prüfung einer anspruchserheblichen Änderung bildet dabei die letzte (der versicherten Person eröffnete) rechtskräftige Verfügung, welche auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Durchführung eines Einkommensvergleichs (bei Anhaltspunkten für eine Änderung in den erwerblichen Auswirkungen des Gesundheitszustands) beruht (<ref-ruling> E. 5.4 S. 114).
2.
Das kantonale Gericht verneinte das Vorliegen eines materiellen Revisionsgrundes nach <ref-law> genau so wie die Möglichkeit, die Renteneinstellung mit der substituierten Begründung der prozessualen Revision nach <ref-law> oder der Wiedererwägung nach <ref-law> zu schützen.
Die dabei festgestellte fehlende Möglichkeit einer prozessualen Revision wegen Zeitablaufs beanstandet die Beschwerdeführerin (zu Recht) ebenso wenig wie das Verneinen eines Wiedererwägungsgrundes. Hingegen vertritt sie die Auffassung, die Voraussetzungen für eine Rentenanpassung im Sinne von <ref-law> seien entgegen der vorinstanzlichen Auffassung gegeben, da sich die Intensität des Leidens im massgeblichen Vergleichszeitraum verändert habe, wobei als zeitliche Vergleichsbasis zur Verfügung vom 11. Februar 2011 der Zeitpunkt der Begutachtung durch die Gutachterstelle B._ im Jahr 2005 und nicht das Datum der darauf beruhenden Verfügung vom 27. Februar 2008 heranzuziehen sei.
2.1. Zwar trifft es zu, dass eine laufende Invalidenrente nach <ref-law> nicht nur bei einer wesentlichen Veränderung des Gesundheitszustands einer Neuüberprüfung unterzogen werden kann, sondern auch dann revidierbar ist, wenn sich die erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitszustands erheblich verändert haben (<ref-ruling> E. 6.1; <ref-ruling> E. 3.5). Insoweit ist den Ausführungen in der Beschwerdeschrift zu folgen. Allerdings gilt auch in diesen Fällen als Vergleichsbasis der zwischen den beiden Verfügungen liegende Zeitraum: Wenn, wie vorliegend geltend gemacht, die ursprüngliche Verfügung allenfalls auf bereits zu diesem Zeitpunkt nicht mehr aktuellen Arztberichten beruhte, bietet dies keinen Anlass, den Vergleichszeitraum auf das Datum der letzten, vor der ursprünglichen Verfügung liegenden Begutachtung auszudehnen. Vielmehr können solche Erkenntnisse allenfalls Anlass zu einer prozessualen Revision oder Wiedererwägung der ursprünglichen Verfügung führen, weil diese eben von Anfang an fehlerhaft war. Die Voraussetzungen hierfür waren indessen gemäss den überzeugenden, von der Beschwerdeführerin nicht näher beanstandeten Erwägungen der Vorinstanz nicht gegeben.
2.2. Ausgangspunkt für die Neueinschätzung der Arbeitsfähigkeit bei im Wesentlichen unverändert gebliebener medizinischer Diagnose waren die am 9. Oktober 2007 begonnenen, tageweise zunächst bis 8. Dezember 2007, später vom 19. Mai bis 1. Juli 2008 sowie schliesslich vom 29. September bis 3. Oktober 2008 fortgeführten Observationen im Auftrag der Basler Versicherungen. Die Beschwerdeführerin wurde darüber erstmals am 30. Oktober 2008 in Kenntnis gesetzt. Die von ihr mit der medizinischen Auswertung der Observationsberichte beauftragten Ärzte der Rehaklinik C._ erstatteten am 11. Februar 2009 Bericht. Dabei bejahten sie die Frage, ob sich aus den beim Versicherten durchgeführten Observationen neue Erkenntnisse bezüglich der Arbeitsfähigkeit respektive Zumutbarkeit ergäben: "Die Diskrepanzen zwischen Alltagsverhalten des Versicherten und den anamnestischen Angaben im Rahmen des Begutachtungsverfahrens und weitere Diskrepanzen in seinem Alltagsverhalten und den ärztlich-rheumatologischen sowie den neuropsychologischen Befunden lassen schliessen, dass die Arbeitsfähigkeit des Versicherten weit höher sein muss als im Gutachten vom Institut D._ [recte: Gutachterstelle B._; vom 29. März 2006] beschrieben", welches massgebliche Grundlage für die Rentenverfügung vom 27. Februar 2008 war. Weiter führten die Ärzte der Rehaklinik aus, "die veränderte Arbeitsfähigkeit respektive Zumutbarkeit muss mindestens Gültigkeit haben seit Beginn der Observationen, d.h. seit dem 9.10.2007. Allerdings ist weiterhin mit überwiegender Wahrscheinlichkeit davon auszugehen, dass bereits vor Beginn der Observationen der Gesundheitszustand des Versicherten erheblich besser war als gutachterlich beschrieben. Es entspricht der ärztlichen Erfahrung, dass sich das körperliche Zustandsbild viele Jahre nach dem in der Rede stehenden Unfall nicht mehr relevant verändert. [...] Es ist nicht wahrscheinlich, dass sich in dem zwischen Begutachtung und Observation liegenden Zeitraum der Gesundheitszustand des Versicherten wegweisend verändert hat. Vielmehr ist davon auszugehen, dass der Versicherte bereits im Rahmen der Begutachtung eine gute körperliche Leistungsfähigkeit aufwies. Mit Wahrscheinlichkeit liegt diese gute körperliche Leistungsfähigkeit spätestens seit einem Zeitraum von 2 Jahren nach dem Unfallereignis [vom 27. März 1999] vor, da entsprechend der klinisch-wissenschaftlichen Erfahrung ab diesem Zeitraum nicht mehr mit einer wegweisenden Veränderung des Befundes zu rechnen ist und aus den Aktenunterlagen im Übrigen hervorgehend, dass der Versicherte zu diesem Zeitraum über ganz ähnliche Beschwerden klagte wie er sie dann im Rahmen der Begutachtung im Institut D._ [recte: Gutachterstelle B._] angab." Wie die Beschwerdeführerin angesichts solch klarer Aussagen zur Auffassung gelangen kann, der Versicherte habe sich seit der letzten Begutachtung im Jahr 2005 an seine Behinderung besser angepasst, ist nicht nachvollziehbar, zumal sich auch aus dem am 25. Mai 2009 erstellten Gutachten der MEDAS keine Anhaltspunkte für eine seither eingetretene Leistungsverbesserung bei gleich gebliebenem Gesundheitszustand ergeben. Dies muss umso mehr für den vorliegend massgeblichen Vergleichszeitpunkt, den Tag des Erlasses der Verfügung vom 27. Februar 2008 gelten. Insoweit erweist sich die Beschwerde als offenkundig unbegründet.
2.3. Indessen ist die Beschwerde aus einem anderen Grund gutzuheissen:
Denn wie von der Vorinstanz mit überzeugender Begründung hergeleitet, hat sich der Gesundheitszustand des Beschwerdegegners im massgeblichen Zeitraum zwar rein körperlich nicht verändert, hingegen aber der psychische Zustand: Durch den Wegfall der subdepressiven Symptomatologie gehen die Ärzte von einer Steigerung der Arbeitsfähigkeit aus rein psychischer Sicht von bisher 50 % auf neu 70 bis 80 % aus. Damit liegt eine erhebliche Veränderung des psychischen Gesundheitszustandes vor, der im Rahmen des Revisionsverfahrens nach <ref-law> auch eine Neueinschätzung in somatischer Hinsicht zulässt (Urteile 9C_378/2014 vom 21. Oktober 2014 E. 4.2; 9C_851/2012 vom 5. März 2013 E. 4.5; E. 2.1 hiervor). Dies hat das kantonale Gericht übersehen, wenn es anschliessend erwogen hat, zwar habe sich der psychische Gesundheitszustand verbessert, dies sei indessen angesichts des ursprünglich angenommenen Ausmasses der somatisch bedingten Arbeitsunfähigkeit für die Rentenrevision ohne Belang.
Die Angelegenheit ist daher an das kantonale Gericht zurückzuweisen, damit es die unfallkausale Arbeitsfähigkeit umfassend beurteile und hernach in der Angelegenheit neu entscheide.
3.
Eine Rückweisung an die Vorinstanz ist unabhängig davon, ob sie beantragt ist, kostenmässig als ein Obsiegen der beschwerdeführenden Partei zu betrachten (<ref-ruling> E. 7.1 S. 271). Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdegegner zu überbinden (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Kantonsgerichts Luzern, 3. Abteilung, vom 11. März 2014 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdegegner auferlegt.
3.
Dieses Urteil wird den Parteien, dem Kantonsgericht Luzern, 3. Abteilung, und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 17. November 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Grünvogel