Sachverhalt:
A.
A.a. Der 1947 geborene B._ war als Angestellter der damaligen Genfer Allgemeine Versicherungs-Gesellschaft (nachstehend Genfer; heute: Zürich Versicherungs-Gesellschaft AG, nachstehend: Zürich) obligatorisch gegen die Folgen von Unfällen versichert, als er sich am 22. Januar 1984 beim Skifahren eine Ruptur des vorderen Kreuzbandes im rechten Knie zugezogen hatte. Die Genfer erbrachte die gesetzlichen Leistungen (Heilbehandlung und Taggeld). Am 9. März 1986 erlitt der Versicherte beim Schlitteln eine Distorsion des rechten Knies, wofür die Behandlung nach kurzer Zeit abgeschlossen werden konnte. Ein weiterer Unfall ereignete sich am 13. Dezember 2000, als er auf der Treppe stürzte und sich eine beidseitige Kniekontusion zuzog. Auch dafür kam die Genfer ihrer Leistungspflicht nach.
A.b. Wegen erneuter Beschwerden begab sich der Versicherte am 12. September 2001 in ärztliche Behandlung bei Dr. med. H._, Facharzt für Orthopädie und Chirurgie an der Clinic S._, welcher eine posttraumatische Knorpelschädigung des rechten Kniegelenks mit beginnender Varusgonarthrose rechtes Knie diagnostizierte (Bericht vom 13. September 2001). Am 16. November 2001 führte dieser am rechten Knie eine Kniearthroskopie mit medialer Meniskektomie, Gelenkstoilette und aufklappende Tibiavalgisationsosteotomie rechts durch und diagnostizierte eine progrediente mediale Gonarthrose. Zudem erwähnte er im Operationsbericht u.a. Fadenreste der Operation von 1984 vorgefunden und entfernt zu haben.
Am 26. September 2001 meldete die damalige Arbeitgeberin des Versicherten der Genfer einen Rückfall zum Unfall vom 13. Dezember 2000. Mit Verfügung vom 19. November 2001 lehnte die Genfer Leistungen ab 1. März 2001 ab, da zwischen den aktuellen Beschwerden und dem Unfallereignis vom 13. Dezember 2000 mit überwiegender Wahrscheinlichkeit kein Kausalzusammenhang bestehe. Die dagegen erhobene Einsprache zog der Versicherte am 24. Januar 2002 zurück, nachdem die Genfer eine Prüfung der Knieprobleme als Rückfall oder Spätfolgen zum Unfall von 1984 zugesichert hatte.
A.c. Am 18. Juli 2006 suchte B._ wegen zunehmenden Schmerzen im rechten Knie wiederum Dr. med. H._ auf, welcher in der Folge am 14. September 2006 eine Knie-Totalendoprothese einsetzte. Postoperativ erlitt der Versicherte eine Lungenembolie, die sich vollständig auflöste. Im Austrittsbericht der Clinic S._ vom 25. September 2006 diagnostizierte Dr. med. H._ nebst der rechtsseitigen auch eine linksseitige Gonarthrose sowie Polyarthrosen an den Fingergelenken (Heberden) und Adipositas. Bereits am 29. Oktober 2004 hatte er eine Valgusgonarthrose im linken Kniegelenk diagnostiziert. Die zwischenzeitlich zuständige Zürich übernahm die Kosten im Zusammenhang mit dem arthroplastischen Gelenkersatz am rechten Knie und leistete Taggelder, nachdem ihr beratender Arzt Dr. med. E._, Spezialarzt FMH für orthopädische Chirurgie, angab, die Operation vom 14. September 2006 sei auf den Unfall von 1984 zurückzuführen.
Am 14. Juni 2007 setzte Dr. med. H._ bei diagnostizierter Gonarthrose links auch im linken Knie eine Totalendoprothese ein. Gleichzeitig wurde am rechten Knie eine offene Arthrolyse und eine Kniegelenksmobilisation durchgeführt. Postoperativ erlitt der Versicherte erneut eine Lungenembolie, die sich gemäss Bericht des Dr. med. K._, Facharzt FMH für Lungenkrankheiten und Innere Medizin, vom 17. Dezember 2007 wiederum vollständig auflöste. Aufgrund des nicht optimalen Heilungsverlaufs am rechten Knie war der Versicherte über längere Zeit ganz bzw. teilweise arbeitsunfähig. Die Zürich übernahm im Zusammenhang mit dem rechten Knie die Heilkosten und Taggelder. Am 18. März 2009 erfolgte in ihrem Auftrag eine Begutachtung des Versicherte durch Dr. med. R._, Facharzt FMH für Orthopädische Chirurgie. Dieser attestierte eine Arbeitsunfähigkeit von 40 % und eine Integritätseinbusse von 35 % (Gutachten vom 25. März 2009), wobei er auf Nachfrage die Arbeitsunfähigkeit hauptsächlich auf die zweimalige Lungenembolie mit entsprechender Anstrengungs-Dyspnoe zurückführte (Schreiben vom 2. April 2009). Aufgrund eines ergänzenden Berichts des Lungenspezialisten Dr. med. K._ vom 20. Juli 2009, der in Bezug auf die Lungenbeschwerden keine Einschränkung in der Arbeitsfähigkeit gegeben sah, ging Dr. med. R._ in der Folge von einer Arbeitsfähigkeit von 100 % für eine knieadaptierte Tätigkeit, d.h. die bisherige Beschäftigung, aus (Schreiben vom 10. August 2009). Mit Verfügung vom 8. September 2009 stellte die Zürich die Leistungen für Heilbehandlungen und Taggelder per 31. Mai 2009 ein und sprach eine Integritätsentschädigung auf der Basis einer Integritätseinbusse vom 35 % zu. Auf Einsprache hin hielt sie, nach Einholung eines interdisziplinären Gutachtens des Zentrums X._ vom 12. Dezember 2010 sowie dem Beizug einer Stellungnahme des beratenden Arztes Dr. med. O._, Facharzt für Allgemeine Medizin FMH, vom 22. August 2011 daran fest (Einspracheentscheid vom 24. Oktober 2011).
B.
Das Verwaltungsgericht des Kantons Graubünden wies die dagegen erhobene Beschwerde mit Entscheid vom 22. Februar 2013 ab.
C.
Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, in Aufhebung des kantonalen Gerichtsentscheides sei die Zürich zu verpflichten, ihm ab 1. Juni 2009 eine Invalidenrente gestützt auf eine Arbeitsunfähigkeit von 40 % zuzusprechen, eventualiter seien die Taggeldleistungen fortzuführen. Sie habe weiterhin Leistungen für Heilbehandlungen zu erbringen. Eventualiter sei die Angelegenheit an die Vorinstanz zur Neubeurteilung zurückzuweisen.
Die kantonalen Akten wurden eingeholt. Auf die Durchführung eines Schriftenwechsels wurde verzichtet.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Immerhin prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden (<ref-ruling> E. 1.4.1 S. 254).
1.2. Im Beschwerdeverfahren um die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung ist das Bundesgericht nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden (Art. 97 Abs. 2 und Art. 105 Abs. 3 BGG).
2.
Streitig und zu prüfen ist die Leistungseinstellung durch die Zürich per 31. Mai 2009 und in diesem Zusammenhang die Frage, ob die Beschwerden im rechten Knie auf das Unfallereignis vom 22. Januar 1984 zurückzuführen sind.
2.1. Im angefochtenen Entscheid werden die für die Beurteilung der Streitsache massgebenden rechtlichen Grundlagen zutreffend dargelegt. Dies betrifft insbesondere die Ausführungen zu dem für den Leistungsanspruch nebst anderem vorausgesetzten natürlichen Kausalzusammenhang zwischen dem Unfall und dem eingetretenen Gesundheitsschaden (<ref-ruling> E. 3.1 S. 181 mit Hinweisen) und den im Sozialversicherungsrecht üblichen Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 3.1 S. 181 mit Hinweisen vgl. ferner <ref-ruling> E. 9.5 S. 125) sowie zum Beweiswert und zur Beweiswürdigung medizinischer Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232, 125 V 351 E. 3 S. 352 ff., je mit Hinweisen). Darauf wird verwiesen.
2.2. Bei der Leistungspflicht der obligatorischen Unfallversicherung gemäss <ref-law> für Rückfälle und Spätfolgen kann der Unfallversicherer nicht auf der Anerkennung des natürlichen und adäquaten Kausalzusammenhanges beim Grundfall und bei früheren Rückfällen behaftet werden, weil die unfallkausalen Faktoren durch Zeitablauf wegfallen können. Es obliegt dem Leistungsansprecher, das Vorliegen eines natürlichen und adäquaten Kausalzusammenhanges zwischen dem als Rückfall oder Spätfolge geltend gemachten Beschwerdebild und dem Unfall nachzuweisen. Nur wenn die Unfallkausalität mit überwiegender Wahrscheinlichkeit erstellt ist, entsteht eine erneute Leistungspflicht des Unfallversicherers; dabei sind an den Wahrscheinlichkeitsbeweis umso strengere Anforderungen zu stellen, je grösser der zeitliche Abstand zwischen dem Unfall und dem Auftreten der gesundheitlichen Beeinträchtigung ist (SVR 2005 MV Nr. 1 S. 1, M 1/02 E. 1.2; RKUV 1997 Nr. U 275 S. 188, U 93/96 E. 1c am Ende; Urteil 8C_669/2011 vom 22. Februar 2012 E. 2.2).
3.
3.1. Nach sorgfältiger und überzeugender Würdigung der medizinischen Aktenlage gelangte die Vorinstanz zum Schluss, dass ein natürlicher Kausalzusammenhang zwischen dem Skiunfall von 1984 und den aktuellen Kniebeschwerden rechts (Gonarthrose) nicht mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit erstellt ist und die Leistungen zu Recht per Ende Mai 2009 eingestellt wurden. Sie stützte sich dabei auf das umfassende polydisziplinäre Gutachten des Zentrums X._ vom 12. Dezember 2010, dem sie volle Beweiskraft zuerkannte. Dies ist nicht zu beanstanden, erfüllt es doch die rechtsprechungsgemässen Anforderungen an eine beweistaugliche medizinische Entscheidgrundlage (<ref-ruling> E. 3 S. 352 ff.). Zudem sind konkrete Indizien, die gegen die Zuverlässigkeit dieser Expertise sprechen, nicht erstellt. Wie die Vorinstanz zutreffend erwog, hat der Umstand, dass den Gutachtern des Zentrums X._ der Operationsbericht des Dr. med. H._ vom 16. November 2001 nicht zur Verfügung stand, keinen Einfluss auf die Schlüssigkeit des Gutachtens, insbesondere die Beurteilung des Kausalzusammenhangs. So enthält der Operationsbericht mit der Vorinstanz keine relevanten Angaben, die den Gutachtern des Zentrums X._ nicht schon aus den übrigen Unterlagen bekannt gewesen sind. Dies betrifft auch die vom Beschwerdeführer erneut geltend gemachten Fadenreste der Operation 1984, die von Dr. med. H._ anlässlich der Operation von 2001 gefunden und entfernt worden sind. Diese sind, wie im angefochtenen Entscheid überzeugend darlegt wird, für die Entstehung der Gonarthrose nicht relevant. Dass sich die Vorinstanz in ihrer Begründung u.a. auch auf die Stellungnahme des beratenen Arztes der Zürich, Dr. med. O._ abstützte, ist nicht zu beanstanden. Diese ist schlüssig und nachvollziehbar begründet. Überdies wurden die Fadenreste weder von Dr. med. H._ nach der Operation je wieder erwähnt, noch fanden sie Beachtung in den andern Arztberichten. Die Fadenreste waren zudem nicht der Grund für die nötige Operation, sondern die Arthroseneigung des Versicherten.
3.2. Auch die weiteren Einwendungen des Beschwerdeführers, soweit nicht bereits im vorinstanzlichen Entscheid entkräftet, vermögen nicht zu einem andern Ergebnis zu führen. Es trifft zwar zu, dass das Gutachten des Zentrums X._ erst im Einspracheverfahren eingeholt wurde. Das ändert jedoch nichts daran, dass die gerichtliche Beurteilung auf einem beweiskräftigen Gutachten beruht, was entscheidend ist. Inwiefern eine Verletzung von <ref-law> (Aktenführungspflicht) durch die Beschwerdegegnerin vorliegen soll, ist nicht zu erkennen. Die Rüge, dass die Vorinstanz auf das Gutachten des Zentrums X._ abstellte, obwohl mehrere Ärzte dieser Expertise in Bezug auf die Unfallkausalität widersprächen, verfängt ebenfalls nicht. Das Gutachten des Zentrums X._ erging in Kenntnis der abweichenden medizinischen Vorberichte, ist, weil polydisziplinär, umfassender als diese und zudem nachvollziehbar begründet. Dies trifft für die Berichte der (behandelnden) Ärzte nicht ohne weiteres zu. Die Vorinstanz hat überzeugend dargetan, inwiefern die Stellungnahmen der andern Mediziner keine Zweifel an den Schlussfolgerungen im Gutachten aufkommen lassen. So hat sie auf die Beurteilung des behandelnden Arztes nicht abgestellt, da diese nach dem Leitsatz " post hoc ergo propter hoc "erging, was in beweisrechtlicher Hinsicht nicht genügt (vgl. dazu <ref-ruling> E. 2b/bb S. 341 f.). Mit Blick auf diese Ausgangslage durfte sie in antizipierter Beweiswürdigung von zusätzlichen medizinischen Abklärungen, insbesondere dem Beizug des beantragten Obergutachtens absehen (<ref-ruling> E. 5.3 S. 236; <ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 4b S. 94). Eine Verletzung des rechtlichen Gehörs liegt nicht vor. Aus dem Umstand, dass die Beschwerdegegnerin die Kosten der Heilbehandlung bis Ende Mai 2009 übernommen und bis zu diesem Zeitpunkt auch Taggelder ausgerichtet hat, kann der Beschwerdeführer ebenfalls nichts zu seinen Gunsten ableiten (vgl. E.2.2 hievor). Wie die Vorinstanz richtig erwog, hat der Unfallversicherer die Möglichkeit, die durch Ausrichtung von Heilbehandlung und Taggeld anerkannte Leistungspflicht mit Wirkung ex nunc et pro futuro ohne Berufung auf den Rückkommenstitel der Wiedererwägung oder der prozessualen Revision einzustellen (<ref-ruling> E. 2.3.1 S. 384). Die Beschwerde ist mithin abzuweisen.
4.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 8. Juli 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Weber Peter