Erwägungen:
1.
1.1. Die Beschwerdegegnerin ist Inhaberin der Wort-/Bildmarke Nr. xxx C._ (fig.) und der Wortmarke Nr. yyy C._, je für Waren und Dienstleistungen von verschiedenen Klassen. Der Beschwerdeführer 1 ist Inhaber der Wort-/Bildmarke Nr. zzz "A._" (fig.) für Waren und Dienstleistungen der Klasse 42.
1.2. Am 17. Dezember 2013 erhob die Beschwerdegegnerin beim Kantonsgericht von Graubünden eine Klage betreffend Markenrecht und UWG, mit der sie im Wesentlichen verlangte, (1.) es sei festzustellen, dass die genannte Wort-/Bildmarke Nr. zzz "A._" (fig.) des Beschwerdeführers 1 nichtig sei, (2.) es sei den Beschwerdeführern zu verbieten, unter dem Kennzeichen A._ als Hauptbestandteil im geschäftlichen Verkehr für Dienstleistungen im Bereich Strom und Energie in der Schweiz aufzutreten und/oder A._ als Hauptbestandteil im geschäftlichen Verkehr im Bereich Strom und Energie in der Schweiz zu benutzen, (3.) es sei dem Beschwerdeführer 1 zu befehlen, verschiedene Domainnamen mit dem Bestandteil A._ zu übertragen, (4.) eventuell löschen zu lassen und (5.) es sei dem Beschwerdeführer 1 zu befehlen, den Vereinsnamen zu ändern, dass der Bestandteil A._ als Hauptbestandteil nicht mehr vorkommt.
Die Beschwerdeführer beantragten mit Klageantwort vom 10. März 2014, die Klage sei unter Kosten- und Entschädigungsfolgen abzuweisen, und bestätigten das gestellte Rechtsbegehren mit Duplik vom 25. August 2014.
Das Kantonsgericht wies die Klage mit Urteil vom 10. September 2018 / 25. November 2019 ab, auferlegte der Beschwerdegegnerin die Verfahrenskosten und verpflichtete diese, die Beschwerdeführer für das Verfahren mit Fr. 88'334.50 zu entschädigen.
1.3. Die Beschwerdeführer erhoben gegen dieses Urteil mit Eingabe vom 13. Februar 2020 Beschwerde in Zivilsachen.
Es wurden keine Vernehmlassungen dazu eingeholt.
2.
Die Beschwerdeführer beantragen zunächst, es sei festzustellen, dass die im Urteil der Vorinstanz am Ende der Erwägung 4.4 gemachte Aussage, wonach keine Nichtigkeit der Klagemarken vorliege, unrichtig sei und dass das Wort "C._" vielmehr zum Gemeingut gehöre und in Bezug auf alle von der entsprechenden Markeneintragung beanspruchten Waren und Dienstleistungen (mit bestimmten Ausnahmen) absolut freihaltebedürftig sei. Eventuell sei zumindest festzustellen, dass für eine Verneinung der Nichtigkeit der Klagemarken weitere Abklärungen erforderlich wären, bei nach wie vor erfolgender Abweisung der Klage.
Im bundesgerichtlichen Verfahren sind neue Begehren unzulässig (Art. 99 Abs. 2 BGG). Die Neuheit eines Begehrens bezieht sich auf den Streitgegenstand. Dieser kann vor Bundesgericht nur noch eingeschränkt, nicht aber ausgeweitet oder geändert werden (<ref-ruling> E. 3.4.2.). Im Zivilprozess bestimmt sich der Streitgegenstand nach den gestellten Begehren und dem zugrunde liegenden Sachverhalt, soweit dieser, d.h. das Tatsachenfundament, auf das sich das Rechtsbegehren stützt, zur Individualisierung des Rechtsbegehrens herangezogen werden muss (<ref-ruling> E. 3.1 S. 257 mit Hinweisen; Urteil 4A_15/2017 vom 8. Juni 2017 E. 3.3.3. mit Hinweisen).
Die Beschwerdeführer verlangten im vorinstanzlichen Verfahren einzig die Klageabweisung. Einen selbständigen widerklageweisen Antrag auf Feststellung der Nichtigkeit der Klagemarken stellten sie nicht. Zwar machten sie die Nichtigkeit der Wortmarke C._ einredeweise geltend. Allein der Umstand, dass die Beschwerdeführer die Nichtigkeit der Klagemarken als Verteidigungsmittel gegen die Klage geltend machten und die Vorinstanz die Nichtigkeit der Klagemarken verneinte, ohne dass dies in ihrem Entscheiddispositiv zum Ausdruck kommt (vgl. <ref-ruling> E. 3.4.3), macht indessen die Frage der Nichtigkeit der Klagemarken nicht zum Streitgegenstand des Prozesses, über den mit Rechtskraftwirkung entschieden wird. Die Beschwerdeführer streben daher im bundesgerichtlichen Verfahren mit ihren Feststellungsbegehren eine Erweiterung des Streitgegenstandes an. Es handelt sich folglich um unzulässige neue Begehren im Sinne von Art. 99 Abs. 2 BGG, auf die nicht einzutreten ist.
3.
Die Beschwerdeführer verlangen sodann, das Urteil des Kantonsgerichts sei dahingehend abzuändern, dass die Entschädigung für die Beschwerdeführer für das Verfahren vor Kantonsgericht unter voller Berücksichtigung ihres vorprozessualen Aufwandes um Fr. 20'410.70 erhöht werde.
3.1.
3.1.1. Beschwerden an das Bundesgericht sind hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1). Dafür muss in der Beschwerdeschrift unter Bezugnahme auf die Erwägungen des angefochtenen Entscheids dargelegt werden, inwiefern dieser Recht verletzt (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 2 S. 116, 86 E. 2 S. 89). Eine Verletzung von Grundrechten wird vom Bundesgericht nicht von Amtes wegen geprüft, sondern nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
3.1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig, mithin willkürlich, ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (Sachverhaltsrüge im Sinne von Art. 97 Abs. 1 BGG; <ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
3.1.3. Macht die beschwerdeführende Partei eine Verletzung des Willkürverbots von Art. 9 BV geltend, genügt es nicht, wenn sie einfach behauptet, der angefochtene Entscheid sei willkürlich. Sie hat vielmehr anhand der Erwägungen des angefochtenen Urteils im Einzelnen aufzuzeigen, inwiefern dieser offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 3.6.2; <ref-ruling> E. 1.3 S. 60; <ref-ruling> E. 1.2 S. 234; <ref-ruling> E. 3 S. 352). Das Bundesgericht hebt einen Entscheid nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 4.2.1; <ref-ruling> E. 3.2.5 S. 339 mit Hinweisen). Überdies greift das Bundesgericht in vorinstanzliche Ermessensentscheide, zu denen Entscheide über die Höhe der Parteientschädigung gehören, nur mit grösster Zurückhaltung ein (vgl. BGE <ref-ruling> E. 3.2.5 S. 339 bezüglich der Höhe der Gerichtskosten).
3.2. Die Vorinstanz sprach den Beschwerdeführern keine Entschädigung für den von ihnen als Teil der Parteientschädigung in der Höhe von Fr. 20'410.70 geltend gemachten vorprozessualen Aufwand zu. Sie erwog dazu u.a., die Frage, ob und in welcher Höhe der obsiegenden Partei eine Parteientschädigung zuzusprechen sei, bestimmte sich nach den allgemeinen Regeln der ZPO und des in Art. 96 ZPO vorbehaltenen kantonalen Rechts. Im Kanton Graubünden sei die Parteientschädigung für die Kosten der anwaltlichen Vertretung in Gerichtsverfahren in der Verordnung über die Bemessung des Honorars der Rechtsanwältinnen und Rechtsanwälte (HV; BR 310.250) geregelt. Gemäss Art. 2 Abs. 1 HV setze die urteilende Instanz die Parteientschädigung der obsiegenden Partei nach Ermessen fest. Sie gehe dabei vom Betrag aus, welcher der entschädigungsberechtigten Partei für die anwaltliche Vertretung in Rechnung gestellt werde, soweit (u.a.) der vereinbarte Stundenansatz zuzüglich allfällig vereinbartem Interessenwertzuschlag üblich sei und keine Erfolgszuschläge enthalte (Art. 2 Abs. 2 Ziff. 1 HV) und der geltend gemachte Aufwand angemessen und für die Prozessführung erforderlich sei (Art. 2 Abs. 2 Ziff. 2 HV). Nach Lehre und Rechtsprechung sei unbestritten, dass vorprozessuale Aufwendungen im Rahmen der Parteientschädigung zu berücksichtigen seien, soweit sie unmittelbar mit der Vertretung der Parteien im gerichtlichen Verfahren in Zusammenhang stünden. Dazu könnten auch die Aufwendungen für Vergleichsverhandlungen gezählt werden, soweit sie in kausalem Zusammenhang mit dem Prozess stünden. In der Regel liessen sich die einzelnen Aufwandpositionen wie beispielsweise Instruktion, Studium der Sach- und Rechtslage ohnehin nicht klar zuordnen.
Im vorliegenden Fall setze sich der geltend gemachte vorprozessuale Aufwand, so die Vorinstanz weiter, aus Sachverhalts-/Rechtsabklärungen, Telefonaten/Besprechungen/Korrespondenzen mit Klient und Gegenpartei sowie aus Aufwendungen im Zusammenhang mit Vergleichsbemühungen zusammen. Eine detaillierte Zusammenstellung der einzelnen Verrichtungen fehle. Insgesamt würden für den Zeitraum von Januar 2011 bis Dezember 2013 78.25 Stunden zu Fr. 240.-- verrechnet. Die Klage (der Gegenpartei) sei am 17. Dezember 2013 eingereicht worden. Die Beschwerdeführer machten vorprozessuale Aufwendungen geltend, die bis zu drei Jahre vor Klageeinreichung zurücklägen. Abgesehen von der letzten Position (04.12.2013) lägen sämtliche Rechnungspositionen mehr als eineinhalb Jahre zurück. Dabei könne nicht mehr von Aufwendungen gesprochen werden, die unmittelbar mit dem gerichtlichen Verfahren im Zusammenhang stünden, jedenfalls nicht ohne weitere Substanziierung durch den Ansprecher. Als Aufwandpositionen würden u.a. diverse Stellungnahmen und die Redaktion und Überarbeitung von Vergleichsvorschlägen aufgeführt. Es fehle jedoch eine weitergehende Substanziierung. Auch Hinweise in der Klageantwort reichten dafür nicht aus. Die dortigen Ausführungen liessen vielmehr den Schluss zu, dass der Aufwand im Zusammenhang mit der Auseinandersetzung vor dem Harmonisierungsamt für den Binnenmarkt (HABM) angefallen sei, womit er im Verfahren vor Kantonsgericht ohnehin nicht entschädigt werden könne. Die mangelnde Substanziierung der einzelnen Positionen lasse keine Beurteilung zu, ob und allenfalls in welchem Ausmass der geltend gemachte Aufwand unmittelbar mit dem Verfahren zusammenhänge. Es lägen auch keine Anhaltspunkte vor, die eine Beurteilung nach Ermessen zulassen würden.
3.3. Die Beschwerdeführer bestreiten die vorinstanzliche Auffassung nicht, dass die urteilende Instanz die Entschädigung der obsiegenden Partei nach Ermessen festzusetzen hat und dass vorprozessuale Aufwendungen im Rahmen der Parteientschädigung nur zu berücksichtigen sind, soweit sie unmittelbar mit der Vertretung der Parteien im gerichtlichen Verfahren in Zusammenhang stehen. Sie rügen jedoch, die Vorinstanz habe Art. 2 Abs. 1 sowie Art. 2 Abs. 2 Ziffer 2 HV willkürlich angewendet.
Sie setzen sich dabei jedoch kaum hinreichend mit der vorstehend dargestellten Begründung der Vorinstanz für die Verweigerung einer Parteientschädigung für die geltend gemachten vorprozessualen Aufwendungen im vorliegenden Fall auseinander und zeigen kaum genügend auf, inwiefern der darauf gestützte Entscheid das Willkürverbot verletzen soll. Sie tun Entsprechendes jedenfalls nicht dar:
3.3.1. Die Beschwerdeführer rügen zunächst die vorinstanzliche Ansicht, dass bei den geltend gemachten vorprozessualen Kosten nicht von Aufwendungen gesprochen werden könne, die unmittelbar mit dem gerichtlichen Verfahren in Zusammenhang stünden, weil die meisten Positionen in der Auflistung mehr als eineinhalb Jahre zurück lägen. Sie halten dafür, dieses Argument würde dazu führen, dass es eine Klägerin in der Hand hätte, die Übernahme von vorprozessualen Kosten im Fall des Unterliegens zu vermeiden, wenn sie, wie vorliegend, nur lange genug warte zwischen der Prozessandrohung, der Aufforderung zur Teilnahme an Gesprächen und der Klageeinreichung.
Dabei übergehen die Beschwerdeführer, dass die Vorinstanz nicht ausschloss, dass Aufwendungen, die mehr als eineinhalb Jahre vor der Klageerhebung erfolgen, vorprozessuale Aufwendungen darstellen können, die unmittelbar mit dem gerichtlichen Verfahren in Zusammenhang stehen. Sie hielt es indessen für erforderlich, dass bei bei Rechnungspositionen, die mehr als eineinhalb Jahre zurückliegen, hinreichend substanziiert werde, weshalb sie unmittelbar mit dem gerichtlichen Verfahren in Zusammenhang stehen sollen, woran es vorliegend fehle. Inwiefern die Vorinstanz damit in Willkür verfallen sein soll, legen die Beschwerdeführer nicht dar und ist auch nicht ersichtlich.
3.3.2. Die Beschwerdeführer beanstanden allerdings weiter, es sei "nicht angemessen", wenn ein allfälliger Abzug wegen fehlender Substanziierung zu einer Reduktion der entschädigten Kosten auf Null führe. Dies wäre gleichbedeutend mit der Aussage, dass zur Vorbereitung des Prozesses oder dessen möglicher Verhinderung keine Kosten notwendig oder nützlich gewesen wären, was nicht nachvollziehbar sei.
Soweit die Beschwerdeführer damit überhaupt hinreichend Willkür geltend machen, kann ihnen nicht gefolgt werden. Die Vorinstanz war jedenfalls unter dem Gesichtswinkel des Willkürverbots nicht gehalten, bei Rechnungspositionen, die mehr als eineinhalb Jahre vor der Klageeinleitung datieren, ohne nähere Substanziierung nach Ermessen einen Anteil von vorprozessualen Aufwendungen auszuscheiden, die unmittelbar mit dem gerichtlichen Verfahren in Zusammenhang stehen. Nach ihren verbindlichen Sachverhaltsfeststellungen (Art. 105 Abs. 1 BGG) wurden als Aufwandpositionen u.a. bloss diverse Stellungnahmen und die Redaktion und Überarbeitung von mehreren Vergleichsvorschlägen aufgeführt. Wenn sie sich hinsichtlich der Substanziierung nicht damit begnügte, kann ihr nicht bereits Willkür vorgeworfen werden. Andernfalls würde vom Gericht verlangt, einen Ermessensentscheid zu treffen, ohne dass ihm vom Ansprecher die dazu erforderlichen tatsächlichen Grundlagen hinreichend unterbreitet werden.
3.3.3. Die Beschwerdeführer rügen schliesslich den Schluss der Vorinstanz aus Hinweisen in der Klageantwort, dass der Aufwand im Zusammenhang mit der Auseinandersetzung vor dem HABM angefallen sei, als unwahre Unterstellung, die sie zurückwiesen. Damit erheben sie indessen keine hinreichend begründete Sachverhaltsrüge im Sinne von Art. 97 Abs. 1 BGG (Erwägung 3.1.2 vorne), weshalb darauf nicht weiter einzugehen ist.
4.
Zusammenfassend ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Diesem Verfahrensausgang entsprechend sind die Gerichtskosten den Beschwerdeführern unter solidarischer Haftbarkeit aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Die Beschwerdegegnerin hat keinen Anspruch auf eine Parteientschädigung, da ihr aus dem bundesgerichtlichen Verfahren kein Aufwand entstanden ist (Art. 68 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht von Graubünden, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 17. April 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Widmer