Sachverhalt:
A.
A.a. Der 1967 geborene A._ war seit dem 1. Januar 2008 bei der B._ AG in U._ als Metzger angestellt und in dieser Eigenschaft bei der Branchen Versicherung Schweiz (nachfolgend: Branchen Versicherung) obligatorisch gegen die Folgen von Unfällen versichert. Gemäss Schadenmeldung UVG vom 21. November 2008 rutschte er nach Arbeitsschluss beim Verlassen des Verkaufsbüros auf der Gitterrosttreppe aus, stürzte und zog sich dadurch eine Quetschung des rechten Knies zu. Nach Durchführung einer MRI-Untersuchung vom 2. Dezember 2008 wurde im Spital C._ eine vollständige Ruptur des Ligamentum pataellae diagnostiziert, mit subtotaler Ruptur des medialen sowie des lateralen Retinaculums, partieller Ruptur des medialen Kollateralbandes und Verdacht auf Partialruptur des vorderen Kreuzbandes (vgl. Bericht vom 4. Dezember 2008). Am 10. Dezember 2008 fand eine Patellarsehnennaht und Augmentation mit Mc-Laughling-Francis-Schlinge und am 2. März 2009 eine Osteosynthesematerialentfernung statt. Die Branchen Versicherung erbrachte die gesetzlichen Leistungen für die Folgen des Unfalls. Nach Einholung eines vertrauensärztlichen Berichts des Dr. med. D._, Facharzt für Chirurgie, vom 16. Juni 2011 verneinte sie mit Verfügung vom 28. Juli 2011 einen Anspruch auf eine Invalidenrente, da A._ wieder zu 100 % arbeitsfähig sei. Gleichzeitig sprach sie ihm eine Integritätsentschädigung für eine Integritätseinbusse von 5 % sowie eine Entschädigung aus der Zusatzversicherung (VVG) zu.
A.b. Mit Schadenmeldung UVG vom 13. Juli 2012 machte A._ einen Rückfall geltend; infolge der früheren Verletzung des rechten Knies sei nun das linke Knie betroffen. Am 7. September 2012 teilte die Branchen Versicherung A._ mit, dass die aktuellen Kniebeschwerden rechts nicht im Zusammenhang mit dem Unfall vom 21. November 2008 stünden und es sich dabei deshalb nicht um einen Rückfall handle. Für die Kniebeschwerden links sei zudem kein Unfallereignis bekannt. Mit Verfügung vom 25. Oktober 2012 verneinte sie unter Verweis auf die Begründung in ihrer Mitteilung vom 7. September 2012 eine Leistungspflicht für die geltend gemachten Beschwerden.
A.c. Im September 2014 gelangte A._ erneut an die Branchen Versicherung und beantragte eine Invalidenrente. Die Versicherung veranlasste eine vertrauensärztliche Untersuchung durch Dr. med. D._ (vgl. Bericht vom 22. Dezember 2014). Am 28. Januar 2015 teilte sie dem Versicherten mit, dass sie aktuell keine Leistungen erbringen könne. Nach Abschluss der Eingliederungsmassnahmen der Invalidenversicherung werde ein allfälliger Rentenanspruch geprüft. Nach weiteren medizinischen Abklärungen verneinte sie einen Anspruch auf Versicherungsleistungen, da überwiegend wahrscheinlich keine Unfallfolgen mehr vorhanden seien (Verfügung vom 16. Oktober 2018). Daran hielt sie mit Einspracheentscheid vom 13. Dezember 2018 fest.
B.
Die hiergegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Glarus mit Entscheid vom 22. August 2019 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, der angefochtene Entscheid sei aufzuheben und die Angelegenheit an die Branchen Versicherung resp. die Vorinstanz zurückzuweisen. Es sei ein zweiter Schriftenwechsel durchzuführen.
Die Branchen Versicherung schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Das kantonale Gericht beantragt ebenfalls die Abweisung der Beschwerde. Das Bundesamt für Gesundheit (BAG) verzichtet auf eine Vernehmlassung. Mit Eingabe vom 24. Februar 2020 (Poststempel) reicht A._ einen Bericht des Dr. med. E._, Chefarzt Orthopädische Chirurgie, Klinik F._, vom 18. Februar 2020 ein.

Erwägungen:
1.
Ein zweiter Schriftenwechsel findet nur ausnahmsweise auf Anordnung des Gerichts statt (<ref-law>). Dazu besteht vorliegend kein Anlass. Ausserdem wurde dem Beschwerdeführer Gelegenheit geboten, auf die Vernehmlassung der Beschwerdegegnerin zu reagieren, wovon er auch Gebrauch machte.
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
2.2. Im Beschwerdeverfahren um die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung ist das Bundesgericht nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden (Art. 97 Abs. 2 und Art. 105 Abs. 3 BGG).
2.3. Bei dem vom Versicherten vor Bundesgericht eingereichten Bericht des Dr. med. G._, Facharzt für Orthopädie und Traumatologie, Klinik H._, vom 20. September 2019 handelt es sich - da nach dem angefochtenen Gerichtsentscheid entstanden - um ein unzulässiges Novum (<ref-law>), auf das nicht näher einzugehen ist (vgl. <ref-ruling> E. 1.2 S. 23 mit Hinweisen). Dasselbe gilt in Bezug auf den mit der Replik eingereichten Bericht des Dr. med. E._ vom 18. Februar 2020.
3.
Streitig und zu prüfen ist, ob die Vorinstanz zu Recht eine Leistungspflicht der Branchen Versicherung für die links- und rechtsseitigen Kniebeschwerden des Versicherten verneint hat.
4.
4.1. Das kantonale Gericht hat das Erfordernis des für die Leistungspflicht des Unfallversicherers nach <ref-law> zunächst vorausgesetzten natürlichen Kausalzusammenhangs zwischen dem Unfallereignis und dem eingetretenen Schaden (<ref-ruling> E. 1 S. 438; <ref-ruling> E. 3.1 S. 181), insbesondere auch bei Rückfällen und Spätfolgen von Unfällen (<ref-law>; <ref-ruling> E. 2c S. 296 f.; Urteil 8C_181/2019 vom 2. Mai 2019 E. 3 mit Hinweisen), zutreffend dargelegt. Ebenfalls richtig sind die vorinstanzlichen Ausführungen zum Nachweis des Vorliegens eines natürlichen Kausalzusammenhangs mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 6 S. 221) sowie zum Beweiswert und zur Beweiswürdigung medizinischer Berichte und Gutachten (<ref-ruling> E. 2.2.2 S. 126 f.; <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352 ff., je mit Hinweisen). Darauf wird verwiesen.
4.2. Zu betonen ist, dass der Unfallversicherer bei der Leistungspflicht gemäss <ref-law> für Rückfälle und Spätfolgen nicht auf der Anerkennung des natürlichen und adäquaten Kausalzusammenhangs beim Grundfall oder bei früheren Rückfällen behaftet werden kann, weil die unfallkausalen Faktoren durch Zeitablauf wegfallen können. Es obliegt - wie die Vorinstanz zutreffend dargelegt hat - dem Leistungsansprecher, das Vorliegen eines Kausalzusammenhangs zwischen dem als Rückfall oder Spätfolge geltend gemachten Beschwerdebild und dem Unfall nachzuweisen. Nur wenn die Unfallkausalität mit überwiegender Wahrscheinlichkeit erstellt ist, entsteht eine erneute Leistungspflicht des Unfallversicherers; dabei sind an den Wahrscheinlichkeitsbeweis umso strengere Anforderungen zu stellen, je grösser der zeitliche Abstand zwischen dem Unfall und dem Auftreten der gesundheitlichen Beeinträchtigung ist (SVR 2016 UV Nr. 18 S. 55, 8C_331/2015 E. 2.2.2; SVR 2010 UV Nr. 31 S. 125, 8C_816/2009 E. 6, je mit Hinweis).
4.3. Beratende Ärzte und Vertrauensärzte sind, was den Beweiswert ihrer ärztlichen Beurteilung angeht, versicherungsinternen Ärzten gleichzusetzen (vgl. Urteil 8C_281/2018 vom 25. Juni 2018 E. 3.2.2 mit Hinweis). Deren Berichten und Gutachten wird nach der Rechtsprechung Beweiswert zugemessen, sofern sie als schlüssig erscheinen, nachvollziehbar begründet sowie in sich widerspruchsfrei sind und keine Indizien gegen ihre Zuverlässigkeit bestehen (BGE <ref-ruling> E. 3b/ee S. 353 f. mit Hinweis). Trotz dieser grundsätzlichen Beweiseignung kommt den Berichten versicherungsinterner medizinischer Fachpersonen praxisgemäss nicht dieselbe Beweiskraft zu wie einem gerichtlichen oder im Verfahren nach <ref-law> vom Versicherungsträger veranlassten Gutachten unabhängiger Sachverständiger. Soll ein Versicherungsfall ohne Einholung eines externen Gutachtens entschieden werden, so sind an die Beweiswürdigung strenge Anforderungen zu stellen. Bestehen auch nur geringe Zweifel an der Zuverlässigkeit und Schlüssigkeit der versicherungsinternen ärztlichen Feststellungen, so sind ergänzende Abklärungen vorzunehmen (<ref-ruling> E. 5.2 S. 229; <ref-ruling> E. 4.4 S. 469; Urteil 8C_348/2016 vom 9. Dezember 2016 E. 2.4). Auf Aktenberichte kann abgestellt werden, wenn ein lückenloser Befund vorliegt und es im Wesentlichen nur um die ärztliche Beurteilung eines an sich feststehenden medizinischen Sachverhalts geht (vgl. SVR 2010 UV Nr. 17 S. 63, 8C_239/2008 E. 7.2; Urteil 8C_737/2011 vom 2. April 2012 E. 5.2).
5.
5.1. Die Vorinstanz stellte fest, die Beschwerdegegnerin habe den Fall unter Prüfung des Rentenanspruchs mit Verfügung vom 28. Juli 2011 abgeschlossen und mit Verfügung vom 25. Oktober 2012 entschieden, dass der vom Beschwerdeführer geltend gemachte Rückfall mangels eines Kausalzusammenhangs keine neue Leistungspflicht begründe. Sie erwog, es sei weder ersichtlich noch mache der Beschwerdeführer geltend, dass neue Tatsachen oder Beweismittel vorlägen, welche die beiden Verfügungen im Rahmen einer prozessualen Revision in Frage stellen könnten. Da mangels eines bestehenden Rentenanspruchs auch eine Revision nach <ref-law> ausscheide und die genannten Verfügungen zudem nicht zweifellos unrichtig seien, sei das Gesuch des Beschwerdeführers vom 22. September 2014 unfallversicherungsrechtlich als Rückfall zu behandeln.
5.2. Hinsichtlich der geltend gemachten linksseitigen Kniebeschwerden erinnerte das kantonale Gericht daran, dass die Beschwerdegegnerin mit Verfügung vom 25. Oktober 2012 einen Kausalzusammenhang zum Unfallereignis vom 21. November 2008 und damit einen Leistungsanspruch des Versicherten verneint habe. Dieser habe dagegen kein Rechtsmittel ergriffen. Aus einem nicht unfallkausalen Gesundheitsschaden könne sachlogisch nicht später ein unfallkausaler entstehen, auch nicht im Sinne eines Rückfalls oder einer Spätfolge. Die Beschwerdegegnerin habe damit zu Recht eine Leistungspflicht hinsichtlich der linksseitigen Beschwerden verneint und diesen Gesundheitsschaden nicht weiter abgeklärt.
5.3. In Bezug auf die rechtsseitigen Kniebeschwerden erkannte die Vorinstanz, dem Beschwerdeführer sei es nicht gelungen, für den massgebenden Vergleichszeitraum eine unfallkausale Verschlechterung seines Gesundheitszustands darzulegen. Da er hierfür die Beweislast trage, bleibe es beim bisherigen Rechtszustand. Sie stützte sich dabei auf die Beurteilung des Vertrauensarztes der Beschwerdegegnerin, Dr. med. D._.
6.
6.1. Der Beschwerdeführer macht zunächst geltend, es sei unklar, ob von einem Rückfall oder vom Grundfall auszugehen sei. Er rügt in diesem Zusammenhang sinngemäss eine Verletzung des Untersuchungsgrundsatzes (Art. 43 Abs. 1 und <ref-law>). Dabei übersieht er, dass der Grundfall mit unangefochten gebliebener Verfügung vom 28. Juli 2011 abgeschlossen und mit Verfügung vom 25. Oktober 2012 eine Leistungspflicht aufgrund eines Rückfalles resp. von Spätfolgen für die beidseitigen Kniebeschwerden verneint wurde. Insoweit stellt sich die Frage nach allfälligen Brückensymptomen nicht. Eine abweichende materielle Beurteilung kann angesichts der Rechtskraft des seinerzeitigen Fallabschlusses mit Verweigerung einer Invalidenrente später nur noch in Betracht fallen, wenn entweder ein Rückfall oder eine Spätfolge (<ref-law>) des Unfalles vom 21. November 2008 aufgetreten oder der Rückkommenstitel der prozessualen Revision wegen neuer Tatsachen oder Beweismittel (<ref-law>) resp. der Wiedererwägung einer zweifellos unrichtigen Verfügung (<ref-law>) gegeben wäre (vgl. Urteil 8C_620/2016 vom 21. November 2016 E. 3).
6.2. Abgesehen davon, dass der Beschwerdeführer erstmals vor Bundesgericht eine prozessuale Revision des erfolgten Fallabschlusses thematisiert hat, sind - wie die Vorinstanz richtig erwogen hat - jedenfalls keine neuen Tatsachen oder Beweismittel ersichtlich, welche eine solche rechtfertigen könnten. Dies gilt umso mehr, als der vom Beschwerdeführer zur Begründung eines Revisionsgrundes angeführte Bericht des Dr. med. G._ vom 20. September 2019 vorliegend unbeachtlich bleibt (vgl. E. 2.3 hiervor). Ferner lässt sich der seinerzeitige Fallabschluss auch nicht als zweifellos unrichtig bezeichnen, so dass er in Wiedererwägung gezogen werden könnte. Dazu könnte ein Gericht - wie die Vorinstanz richtig erkannt hat - den Unfallversicherer ohnehin nicht anhalten (statt vieler: <ref-ruling> E. 4.1 S. 52). Zu prüfen bleibt damit, ob die Beschwerdegegnerin aufgrund eines Rückfalls oder einer Spätfolge im Sinne von <ref-law> leistungspflichtig ist.
7.
7.1. Das kantonale Gerichte stellte in Bezug auf die rechtsseitigen Kniebeschwerden fest, es stünden sich die Meinung des Vertrauensarztes der Beschwerdegegnerin, Dr. med. D._, und diejenige des behandelnden Arztes, PD Dr. med. I._, Chefarzt der Klinik für Orthopädie und Traumatologie, Spital J._, gegenüber. Dr. med. D._ sehe in Bezug auf das rechte Kniegelenk mit Ausnahme der Patella alta keine unfallrelevanten Pathologien mehr. Die Beschwerden seien auf einen natürlichen Verlauf der Gonarthrose zurückzuführen, weshalb sie nicht als unfallkausal einzustufen seien. Dies sei nachvollziehbar, zumal bereits in früheren Berichten behandelnder Ärzte von degenerativen Veränderungen berichtet worden sei. Auch PD Dr. med. I._ habe am 10. Juli 2014 erwähnt, dass im rechten Knie beginnende degenerative Veränderungen vorhanden seien. Ausserdem habe er nicht dargelegt, dass die von ihm geschilderte Verschlechterung der Situation im Zusammenhang mit dem Unfallereignis stehe und die von ihm attestierte Arbeitsunfähigkeit eine Folge des Unfalls sei. Abgesehen davon habe er sich auch nicht mit der Meinung des Vertrauensarztes auseinandergesetzt, sondern einzig sein Bedauern zum gestützt darauf ergangenen Entscheid der Beschwerdegegnerin geäussert (vgl. Bericht vom 23. November 2018). Im Übrigen sei davon auszugehen, dass die von ihm attestierte höhere Arbeitsunfähigkeit auf die linksseitigen Kniebeschwerden zurückgingen, welche allerdings nicht unfallkausal seien. Schliesslich sei zu berücksichtigen, dass die Patella alta, welche gemäss Dr. med. D._ die einzige unfallrelevante Pathologie darstelle, bereits bei Fallabschluss im Jahr 2011 bestanden habe und in diesem Rahmen auch geprüft worden sei. Dass es diesbezüglich zu einer relevanten Veränderung des Gesundheitszustands gekommen sei, ergebe sich weder aus den Akten noch werde dies vom Beschwerdeführer entsprechend vorgebracht.
7.2. Mit seinen Vorbringen vermag der Beschwerdeführer keine Bundesrechtswidrigkeit darzutun.
7.2.1. Soweit er sich zur Begründung eines zumindest teilweisen Kausalzusammenhangs zwischen dem Ereignis vom 21. November 2008 und den anhaltenden Kniebeschwerden auf die Ausführungen des PD Dr. med. G._ vom 20. September 2019 und des Dr. med. E._ vom 18. Februar 2020 stützt, ist darauf, wie bereits gesagt (vgl. E. 2.3), nicht weiter einzugehen.
7.2.2. Sodann ergingen die Stellungnahmen des Dr. med. D._ vom 22. Dezember 2014 und 1. Oktober 2018 - entgegen dem Einwand des Beschwerdeführers - in Kenntnis der wesentlichen Vorakten, wie sich aus seiner Aktenanamnese ergibt. Dass er relevante Verletzungen übersehen und deren Folgen falsch eingeschätzt hätte, ist nicht ersichtlich. Der Beschwerdeführer vermag sich denn auch auf keinen ärztlichen Bericht zu berufen, der nur schon geringe Zweifel an der vertrauensärztlichen Beurteilung wecken könnte (vgl. E. 4.3 hiervor). Solche Zweifel ergeben sich insbesondere auch nicht aus dem Bericht des PD Dr. med. I._ vom 23. November 2018. Darin hielt der behandelnde Arzt lediglich fest, der Patient habe sich aufgrund der Leistungsablehnung des Unfallversicherers wieder vorgestellt. Diesbezüglich äusserte PD Dr. med. I._ sein Bedauern. Als behandelnde Ärzte könne man auf den Entscheid der Unfallversicherung keinen Einfluss nehmen. Der Patient würde ein unabhängiges Gutachten benötigen. Dem Bericht ist somit keine Kausalitätsbeurteilung zu entnehmen. Insoweit vermag er auch keinen weiteren Abklärungsbedarf zu begründen.
7.2.3. Nach dem Gesagten ist nicht zu beanstanden, dass die Vorinstanz auf die vertrauensärztliche Beurteilung des Dr. med. D._ abgestellt hat. Von einer willkürlichen Beweiswürdigung kann keine Rede sein.
8.
In Bezug auf die linksseitigen Kniebeschwerden wies Dr. med. D._ in seiner Stellungnahme vom 22. Dezember 2014 darauf hin, dass sich nicht nur im linken Kniegelenk, sondern auch im rechten und linken Hüftgelenk deutliche arthrotische Veränderungen manifestiert hätten. Diese stünden nicht in direktem Zusammenhang mit dem Unfall im Jahre 2008. Es handle sich dabei eher um krankheitsbedingte degenerative Veränderungen bei Adipositas und einer deutlichen Anfälligkeit auf arthrotische Leiden. Der Beschwerdeführer bringt nichts vor, was diese vertrauensärztliche Beurteilung in Zweifel ziehen könnte. Soweit er - ohne sich auf einen entsprechenden ärztlichen Bericht berufen zu können - die Vermutung aufstellt, die Abnützungserscheinungen des linken Knies seien aus einer Fehlhaltung wegen der rechtsseitigen Kniebeschwerden entstanden, genügt dies jedenfalls nicht. Dies gilt umso mehr, als er es selbst lediglich für "möglich" hält, dass eine Fehlhaltung zu Beschwerden an der Hüfte sowie am linken Knie geführt habe. Die blosse Möglichkeit eines Zusammenhangs genügt für die Begründung eines Leistungsanspruches nicht (vgl. BGE <ref-ruling> E. 3.1 S. 181; siehe auch <ref-ruling> E. 6 S. 221, je mit Hinweisen).
Bei diesem Ergebnis kann offen bleiben, ob mit Bezug auf die linksseitigen Kniebeschwerden aufgrund des mit Verfügung vom 25. Oktober 2012 verneinten Kausalzusammenhangs Spätfolgen oder ein Rückfall von vornherein ausscheiden (vgl. E. 5.2 hiervor; vgl. auch Urteil 8C_382/2018 vom 6. November 2018 E. 5.1 in fine mit Hinweisen und E. 6.1).
9.
Zusammenfassend ist nicht zu beanstanden, dass das kantonale Gericht eine Leistungspflicht der Beschwerdegegnerin für den geltend gemachten Rückfall resp. die geltend gemachten Spätfolgen verneint hat. Da von weiteren Abklärungen keine entscheidrelevanten Ergebnisse zu erwarten sind, durfte die Vorinstanz darauf verzichten. Dies verstösst weder gegen den Untersuchungsgrundsatz (<ref-law>) noch gegen den Anspruch auf rechtliches Gehör bzw. Beweisabnahme (<ref-law>; antizipierte Beweiswürdigung; <ref-ruling> E. 5.3 S. 236; Urteil 8C_638/2018 vom 22. Januar 2019 E. 7). Die Beschwerde ist daher abzuweisen.
10.
Der unterliegende Beschwerdeführer trägt die Gerichtskosten (<ref-law>). Die Branchen Versicherung hat keinen Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Glarus, II. Kammer, und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 6. März 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Heine
Der Gerichtsschreiber: Wüest