Sachverhalt:
A.
Mit Eingabe vom 11. März 2013 reichten B.A._ und A.A._ (Beschwerdeführer) sowie die D._ LLC, eine Gesellschaft mit Sitz in U._, beim Kantonsgericht Zug Klage gegen die C._ AG (Beschwerdegegnerin) ein. Die Klagebegehren lauteten wie folgt:
"1. Der Beschluss des Verwaltungsrats vom 4. Juli 2013 der C._ AG, Zug ist nichtig.
2. Der Beschluss der Generalversammlung vom 29. Juli 2013 der C._ AG, Zug ist nichtig.
3. Gebühren, Spesen und Parteientschädigungen sowie die Kosten für den Versöhnungsversuch zu Lasten der Gegenpartei."
In Ergänzung zur Klage hielten B.A._ und A.A._ sowie die D._ LLC auf Aufforderung des Gerichtspräsidenten fest, der Streitwert betrage EUR 2'975'991.97 betreffend die Dividenden der Geschäftsjahre 2011/12 und 2012/13, die an die D._ LLC ausgeschüttet werden sollten. In ihrer Replik vom 21. November 2014 präzisierten sie ihre Anträge dahingehend, dass die angefochtenen Beschlüsse des Verwaltungsrats und der Generalversammlung zu annullieren seien.
Mit Entscheid vom 9. Juni 2016 trat das Kantonsgericht androhungsgemäss nicht auf die Klage der D._ LLC ein, nachdem letztere die auf Antrag der C._ AG angeordnete Sicherheit für die Parteientschädigung in der Höhe von Fr. 95'000.-- innert der letzten Nachfrist nicht geleistet hatte.
Am 5. Mai 2017 zogen B.A._ und A.A._ die Klage zurück. Mit Entscheid vom 18. Mai 2017 schrieb das Kantonsgericht das Verfahren ab. Es auferlegte B.A._ und A.A._ die Gerichtskosten in der Höhe von Fr. 20'000.-- und verpflichtete sie zur Leistung einer Parteientschädigung in der Höhe von Fr. 72'370.25, beides unter solidarischer Haftbarkeit.
Diesen Kostenentscheid fochten B.A._ und A.A._ beim Obergericht des Kantons Zug an. Das Obergericht reduzierte in seinem Urteil vom 26. Oktober 2017 die erstinstanzliche Parteientschädigung geringfügig auf Fr. 71'045.90 und wies die Beschwerde im Übrigen ab, unter Kosten und Entschädigungsfolgen zu Lasten von B.A._ und A.A._.
B.
B.A._ und A.A._ haben gegen das Urteil des Obergerichts Beschwerde in Zivilsachen erhoben. Damit beantragen sie was folgt:
"1. Die Beschwerde wird gutgeheissen.
1.1. Folglich werden die Parteientschädigung auf CHF 11'472.- (incl. MWST und Spesen) und Gerichtskosten des ersten Entscheid[s] auf CHF 6'000,- festgesetzt
2. Gebühren, Kosten und Parteientschädigungen der zweiten und dieser Instanz gehen zu Lasten der Gegenpartei"
Die C._ AG begehrt, die Beschwerde sei vollumfänglich abzuweisen, soweit darauf einzutreten sei. Das Obergericht beantragt ebenfalls die Abweisung der Beschwerde, soweit darauf eingetreten werden kann, unter Verzicht auf eine Vernehmlassung und Verweis auf die Erwägungen im angefochtenen Entscheid.
Die Parteien replizierten und duplizierten.
Mit Präsidialverfügung vom 22. Februar 2018 wurde das Gesuch um Erteilung der aufschiebenden Wirkung abgewiesen und auf den Antrag der C._ AG um Anordnung einer Verfügungsbeschränkung auf einem Grundstück von B.A._ nicht eingetreten.

Erwägungen:
1.
Der angefochtene Entscheid des Obergerichts ist ein Endentscheid (<ref-law>) einer Vorinstanz im Sinne von <ref-law>. Weiter erreicht der Streitwert den nach <ref-law> geltenden Mindestbetrag von Fr. 30'000.--. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten, unter Vorbehalt einer rechtsgenüglichen Begründung (Erwägung 2).
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden.
Die Beschwerde ist hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist, dass auf die Begründung des angefochtenen Entscheids eingegangen und im Einzelnen aufgezeigt wird, worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerde an das Bundesgericht nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 116, 86 E. 2 S. 89).
Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Das bedeutet, dass klar und detailliert anhand der Erwägungen des angefochtenen Entscheides darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 1.2 mit Hinweisen). Macht die beschwerdeführende Partei eine Verletzung des Willkürverbots von <ref-law> geltend, genügt es nicht, wenn sie einfach behauptet, der angefochtene Entscheid sei willkürlich. Sie hat vielmehr im Einzelnen aufzuzeigen, inwiefern dieser offensichtlich unhaltbar ist (<ref-ruling> E. 1.3 S. 60; <ref-ruling> E. 3 S. 352).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit weiteren Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 Abs. 2 und <ref-law>). "Offensichtlich unrichtig" bedeutet "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90 mit weiteren Hinweisen). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (BGE 140III 16 E. 1.3.1 S. 18 mit weiteren Hinweisen).
3.
3.1. Die Beschwerdeführer kritisieren die Berechnung des Streitwerts durch die Vorinstanz. Sie meinen, diese basiere auf einer willkürlichen Sachverhaltsfeststellung und habe zur Folge, dass einerseits Art. 71 sowie Art. 91 und Art. 95 ZPO und andererseits Art. 706 und Art. 706b OR verletzt würden.
3.2. Die Vorinstanz hielt fest, dass "sowohl die D._ LLC als auch die Beschwerdeführer auf Nichtigkeit bzw. Annullierung der Beschlüsse der Generalversammlung und des Verwaltungsrats" geklagt hätten. Diese tatsächliche Feststellung können die Beschwerdeführer nicht alleine dadurch als willkürlich ausweisen, dass sie ihr wiederholt widersprechen und ausführen, sie seien als Verwaltungsräte gar nicht zur Anfechtung des Beschlusses der Generalversammlung legitimiert, zumal sie damit den Sachverhalt in unzulässiger Weise ergänzen (Erwägung 2.2). Damit ist aber auch der Rüge einer Verletzung der genannten Gesetzesbestimmungen der Boden entzogen, wobei die Beschwerdeführer diese ohnehin nicht nachvollziehbar begründen.
3.3. Die Vorinstanz hat nicht gegen Bundesrecht verstossen, wenn sie den Streitwert von EUR 2'975'991.97 (respektive Fr. 3'618'508.64) sowohl für die D._ LLC als auch für die Beschwerdeführer als massgebend erachtete.
4.
4.1. Die Beschwerdeführer beanstanden in verschiedener Hinsicht die Festsetzung der erstinstanzlichen Parteientschädigung.
4.2. Sie rügen eine Verletzung von §§ 3 und 9 der Verordnung des Obergerichts des Kantons Zug vom 3. Dezember 1996 über den Anwaltstarif (AnwT/ZG; BGS 163.4).
Soweit sich der angefochtene Entscheid auf kantonales Recht stützt, kommt als Beschwerdegrund die Verletzung von Bundesrecht, insbesondere von verfassungsmässigen Rechten, in Frage (vgl. <ref-law>). Im Vordergrund steht dabei das Willkürverbot von <ref-law>. Willkür liegt nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 4.1; <ref-ruling> E. 5.1 S. 22; <ref-ruling> E. 4.1; <ref-ruling> E. 2.1; <ref-ruling> E. 3.1, 57 E. 2). Die unrichtige Anwendung des kantonalen Gesetzesrechts stellt grundsätzlich keine zulässige Rüge dar (vgl. <ref-ruling> E. 1.3 S. 60; <ref-ruling> E. 3 S. 351).
Die Beschwerdeführer erheben über weite Strecken keine Willkürrügen, sondern beanstanden eine bloss unrichtige Anwendung des kantonalen Anwaltstarifs. Insoweit ist die Kritik unzulässig und kann auf die Beschwerde nicht eingetreten werden. Ebenfalls nicht zulässig ist es, wenn die Parteientschädigung lediglich als willkürlich und diskriminierend bezeichnet wird, ohne dass der entsprechende Vorwurf nachvollziehbar begründet wird (Erwägung 2.1).
Ferner kritisieren die Beschwerdeführer einen Ermessensmissbrauch bei der Festsetzung der Parteientschädigung.
Das Bundesgericht greift in derartige Ermessensentscheide nur mit grösster Zurückhaltung ein (<ref-ruling> E. 3.2.5 S. 339 mit Hinweis).
Die Beschwerdeführer kritisieren, dass die Parteientschädigung auf den gesetzlich vorgesehenen Höchstbetrag festgesetzt worden sei. Einerseits beanstanden sie die unverhältnismässige Entlöhnung für die von der Gegenpartei geleistete Arbeit, "die sich lediglich darauf beschränkte, auf Schriften zu antworten." Andererseits monieren sie, es sei "unverhältnismässig, den Höchstzuschlag und den maximalen geschuldeten Prozentsatz in Fällen, in denen das Honorar auf einem hohen Streitwert basiere, anzuwenden." Sie verweisen darauf, dass die der D._ LLC auferlegte Parteientschädigung viel niedriger sei.
Die Vorinstanz hat sich mit genau diesen Vorbringen der Beschwerdeführer bereits detailliert auseinandergesetzt und sie nachvollziehbar entkräftet. Dabei verwies sie namentlich auf den doppelten Schriftenwechsel, der vor der Erstinstanz stattgefunden hat, und darauf, dass der Fall angesichts des Streitwerts bedeutend und mit grosser Verantwortung verbunden gewesen sei. Ihre Ausführungen sind unter dem Gesichtspunkt der Willkür nicht zu beanstanden. Dass der D._ LLC im Nichteintretensentscheid vom 9. Juni 2016 bloss eine Parteientschädigung in der Höhe von Fr. 14'472.-- auferlegt worden sei, vermag für sich alleine keine Ermessensunterschreitung gegenüber den Beschwerdeführern zu begründen (zumal dies in einem früheren Prozessstadium erfolgte).
4.3. Weiter rügen die Beschwerdeführer, dass die Vorinstanz in ihrem Entscheid "nicht den Grund [rechtfertigt], weshalb es entschieden hat, den Höchstzuschlag und den Höchstbetrag, der in dieser Phase gefordert werden kann, festzusetzen". Darin erblicken sie einen Verstoss "gegen das Recht, angehört zu werden".
Der Anspruch auf rechtliches Gehör gemäss <ref-law> verlangt, dass die Behörde die Vorbingen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss jedoch so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 5.2; <ref-ruling> E. 3.2.4 S. 41; <ref-ruling> E. 3.2.1; <ref-ruling> E. 4.1).
Die Kritik ist unbegründet. Die Vorinstanz befasste sich detailliert mit der Berechnung der Parteientschädigung. Insbesondere erläuterte sie, dass entgegen der Ansicht der Beschwerdeführer gerade nicht der "Höchstbetrag zum Grundhonorar" erhoben worden sei, weshalb die in diesem Zusammenhang vorgetragene Kritik von vornherein unbegründet sei. Gestützt auf diese Ausführungen ist es den Beschwerdeführern möglich, die wesentlichen Überlegungen der Vorinstanz nachzuvollziehen. Ihr Anspruch auf rechtliches Gehör ist nicht verletzt.
4.4. Schliesslich werfen die Beschwerdeführer der Vorinstanz vor, sie stelle den Sachverhalt willkürlich fest, indem der angefochtene Entscheid nicht berücksichtige, "dass ein Teil der Parteientschädigung bereits vorher vom Gericht festgesetzt worden war." Die Rüge vermag den Begründungsanforderungen (Erwägung 2.2) nicht zu genügen. Aus dem angefochtenen Urteil gehen keine entsprechenden Feststellungen hervor. Die Beschwerdeführer ermöglichen aber auch keine diesbezügliche Sachverhaltsergänzung, da sie nicht mit präzisen Aktenhinweisen darlegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht haben. Auf die Rüge ist nicht einzutreten.
5.
5.1. Die Beschwerdeführer rügen eine "willkürliche Festsetzung der Gerichtsgebühren der ersten Instanz". Zudem beanstanden sie eine Ermessensunterschreitung, da die Vorinstanz "trotz geringstem Zeitaufwand" von der Ermässigungsmöglichkeit gemäss § 5 Abs. 1 der Verordnung des Obergerichts des Kantons Zug vom 15. Dezember 2011 über die Kosten in der Zivil- und Strafrechtspflege (Kostenverordnung Obergericht, KoV OG/ZG; BGS 161.7) nur unzureichend Gebrauch gemacht hätten.
5.2. Die Vorinstanz legte in ihrem Entscheid über knapp eine Seite detailliert dar, wie die Gerichtsgebühr berechnet wurde. Insbesondere erwähnte sie, dass die Gerichtsgebühr im Sinne von <ref-law> OG/ZG von Fr. 90'462.70 auf Fr. 20'000.-- beziehungsweise Fr. 26'000.-- ermässigt wurde. Dabei - so die Erwägung - falle ins Gewicht, dass die Beschwerdeführer die Klage erst nach erfolgtem doppelten Schriftenwechsel zurückgezogen hätten und nachdem der Referent einen begründeten Sistierungsentscheid sowie weitere Sistierungsentscheide gefällt habe. Die Beschwerdeführer vermögen unter diesen Umständen nicht aufzuzeigen, inwiefern von der Ermässigung unzureichend Gebrauch gemacht und dadurch der kantonale Gebührentarif willkürlich angewendet wurde (Erwägung 4.2). Sie unterlassen es gänzlich, sich mit den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz auseinanderzusetzen. Im Gegenteil führen sie nur pauschal aus, die Gebühr sei "unverhältnismässig bezüglich der vom Gericht geleisteten Arbeit" und "wenn man bedenkt, dass es keinen Gerichtsentscheid gegeben hat, ausser der Feststellung des Rückzugs der Klage, und auch keine Ermittlungstätigkeiten oder Verhandlungen stattgefunden haben." Schliesslich ist auch nicht nachvollziehbar, inwiefern "der Wert auch auf Grund des gegenwärtigen günstigen Wechselkurses" verringert werden müsste.
Die Rüge ist unbegründet, soweit sie überhaupt den Begründungsanforderungen (Erwägung 2.1) genügt.
6.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang werden die Beschwerdeführer unter solidarischer Haftbarkeit kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und 5 sowie Art. 68 Abs. 2 und 4 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt, in solidarischer Haftbarkeit.
3.
Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit insgesamt Fr. 3'500.-- zu entschädigen, in solidarischer Haftbarkeit.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, II. Beschwerdeabteilung, schriftlich mitgeteilt.
Lausanne, 30. April 2018
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Kölz