Sachverhalt:
A.
Am 23. April 2002 schlossen A.A._ und B.A._ (Mieter, Kläger, Beschwerdeführer) mit der Hauseigentümerin C._ (Vermieterin, Beklagte, Beschwerdegegnerin) mit Sitz in Basel einen Mietvertrag über eine 4 1⁄2-Zimmerwohnung an der D._-Strasse in E._ ab. Unter Punkt 3 wurde im Mietvertrag Folgendes vereinbart:
"Der Mieter verpflichtet sich, auf die Verfallzeit zu bezahlen:
Nettomietzins (siehe unten) Fr. 1'460.00
Heizungs- und Warmwasserkosten
(nach Abrechnung gem. Ziff. 2 Vertragsbestimmungen)
}Fr. 210.00
Alle übrigen Nebenkosten
(nach Abrechnung gem. Ziff. 3 Vertragsbestimmungen)
Zahlbar monatlich zum voraus Fr. 1'670.00
---..]
Besondere Bestimmungen siehe Beiblatt "Mietzins- und Reparaturdepot"".
Ferner hält der Mietvertrag fest, dass die beigehefteten Vertragsbestimmungen und die Hausordnung einen integrierenden Bestandteil des Mietvertrages bilden. In den soeben erwähnten von den Mietern nicht separat unterzeichneten sogenannten "Vertragsbestimmungen" wird unter dem Titel "3. Übrige Nebenkosten" festgehalten:
" (Wasserzins, Abwassergebühr Regenabwasser, ARA-, Kehrichtabfuhr- und TV-Gebühren, Strom allgem., Lift, Hauswart, Serviceabonnemente, neu eingeführte und abrechnungsberechtigte öffentliche Gebühren und Abgaben gemäss Ziff. 3 des Mietvertrages). Über die vom Mieter zu bezahlenden Anteile wird Abrechnung erstellt."
B.
B.a. Im August 2016 stellten sich die Mieter auf den Standpunkt, die nur in den beigehefteten "Vertragsbestimmungen" ausgeschiedenen sogenannten "übrigen Nebenkosten" seien nicht rechtskonform vereinbart worden. Sie gelangten nach gescheiterter Schlichtungsverhandlung mit Eingabe vom 8. November 2016 an das Mietgericht des Sense- und Seebezirks und beantragten im Wesentlichen, die Vermieterin sei zu verpflichten, ihnen zu viel bezahlte Nebenkosten in der Höhe von Fr. 26'364.76 zurückzubezahlen. Die Beklagte schloss auf vollumfängliche Abweisung der Klage.
Das Mietgericht des Sense- und Seebezirks verhandelte die Angelegenheit am 21. Juni 2017 und befragte die Parteien zur Sache. Es eröffnete am 7. August 2017 das Beweisverfahren wieder, wogegen die Kläger protestierten. Sodann erweiterten die Kläger mit Eingabe vom 21. September 2017 ihr Rechtsbegehren dahingehend, dass die Beklagte zu verpflichten sei, ihnen zu viel bezahlte Nebenkosten in der Höhe von Fr. 28'238.35 zurückzubezahlen. Am 5. Dezember 2017 wurde das Beweisverfahren wieder geschlossen und den Parteien die Möglichkeit zu einer abschliessenden Stellungnahme gegeben.
Mit Entscheid vom 22. Januar 2018 wies das Mietgericht des Sense- und Seebezirks die Klage ab, da es die Übernahme der Nebenkosten durch die Mieter als rechtsgenüglich vereinbart erachtete.
B.b. Am 28. Februar 2018 reichten die Kläger Berufung beim Kantonsgericht Freiburg ein und beantragten, der Entscheid des Mietgerichts des Sense- und Seebezirks vom 22. Januar 2018 sei aufzuheben und die Beklagte zu verurteilen, ihr Fr. 28'238.35 zu bezahlen.
Das Kantonsgericht Freiburg wies die Berufung mit Urteil vom 23. Februar 2019 ab.
C.
Mit Beschwerde in Zivilsachen vom 1. April 2019 begehren die Kläger im Wesentlichen, das Urteil des Kantonsgerichts Freiburg vom 23. Februar 2019 sei aufzuheben und die Beklagte sei zu verpflichten, ihnen Fr. 26'365.75 zu bezahlen.
Die Beschwerdegegnerin beantragt in ihrer Beschwerdeantwort, die Beschwerde in Zivilsachen sei abzuweisen, soweit darauf einzutreten sei.
Das Kantonsgericht sandte die Akten unter Verzicht auf Vernehmlassung ein.
Die Parteien haben unaufgefordert repliziert respektive dupliziert.

Erwägungen:
1.
Angefochten ist der Endentscheid (<ref-law>) eines oberen kantonalen Gerichts in seiner Eigenschaft als Rechtsmittelinstanz (Art. 75 Abs. 1 und 2 BGG). Der für mietrechtliche Streitigkeiten erforderliche Streitwert für die Beschwerde in Zivilsachen (<ref-law>) ist erreicht. Die Rechtsbegehren der Beschwerdeführer sind im kantonalen Verfahren nicht geschützt worden (<ref-law>) und die Beschwerde erging fristgerecht (<ref-law>). Auf die Beschwerde ist unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und <ref-law>) einzutreten.
1.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Mit Blick auf die Begründungspflicht der beschwerdeführenden Partei (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 1.3; <ref-ruling> E. 1.4 S. 400).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
2.
Die Beschwerdeführer rügen, die Vorinstanz habe <ref-law> verletzt, indem sie annahm, die Parteien hätten eine hinreichend konkrete Vereinbarung betreffend die "übrigen Nebenkosten" getroffen.
2.1. Nach <ref-law> haben die Mieter die Nebenkosten nur zu bezahlen, wenn sie dies mit der Vermieterin besonders vereinbart haben, andernfalls solche Kosten als im Mietzins inbegriffen gelten. Die besondere Vereinbarung wird in aller Regel eine ausdrückliche, meist eine schriftliche sein, kann jedoch auch formfrei erfolgen und sich gegebenenfalls aus den Umständen ergeben; sie muss jedenfalls die von den Mietern zu tragenden Nebenkosten im Mietvertrag klar und bestimmt umschreiben. Einzig der Hinweis auf einen standardisierten Vertragszusatz genügt nicht (vgl. <ref-ruling> E. 4.3; <ref-ruling> E. 2a/aa; Urteil 4A_185/2009 vom 28. Juli 2009 E. 2.1). Den Mietern kann nicht zugemutet werden, sich erst aufgrund einer sorgfältigen Konsultation der Vertragsbedingungen ein Bild zu machen, welche Nebenkosten von ihnen zu tragen sind. Vielmehr haben sie Anspruch darauf, dass ihnen nur diejenigen Nebenkosten überbunden werden, die im Vertrag eindeutig und genau bezeichnet werden. Nur wenn die allgemeinen Vertragsbedingungen eine Konkretisierung der im Mietvertrag bereits zu ihren Lasten ausgeschiedenen Nebenkosten bedeuten, kann daraus unter Umständen auf deren Übernahme durch die Mieter geschlossen werden (Urteile 4A_622/2015 vom 4. Februar 2016 E. 3.1; 4A_185/2009 vom 28. Juli 2009 E. 2.1; 4A_397/2007 vom 6. Dezember 2007 E. 2.1).
2.2. Die Vorinstanz schloss, die Nebenkosten seien nicht nur in allgemeiner Weise zum Vertragsbestandteil erklärt und von den Beschwerdeführern zur Kenntnis genommen worden. Denn es fände sich in der Nebenkostenvereinbarung ein konkreter Verweis auf die einschlägigen Vertragsbestimmungen, die dem Mietvertrag beigeheftet und als Vertragsbestandteil bezeichnet seien. Da eine einfache Konsultation der im Mietvertrag genau bezifferten Vertragspunkte 2 und 3 der beigehefteten Vertragsbestimmungen genüge, handle es sich um eine transparente Darstellung der zusätzlich anfallenden Kostenkategorien und nicht um einen blossen Hinweis auf einen standardisierten Vertragszusatz.
Es scheint fraglich, ob dies zutrifft. Die neben den "Heizungs- und Warmwasserkosten (nach Abrechnung gem. Ziff. 2 Vertragsbestimmungen) " zusätzlich anfallenden Kosten sind mit der Formulierung "[a]lle übrigen Nebenkosten (nach Abrechnung gem. Ziff. 3 Vertragsbestimmungen) " noch nicht klar und bestimmt zu Lasten der Mieter ausgeschieden. Es ist aus dem Mietvertrag vom 23. April 2002 nämlich nicht ersichtlich, um welche zusätzlichen Nebenkosten es sich hierbei im Einzelnen handeln sollte. Dass der Mietvertrag einen konkreten Verweis auf die weiteren "Vertragsbestimmungen" enthält, welche die übrigen Nebenkosten sodann im Einzelnen aufführen, ändert nichts daran, dass es sich hierbei entgegen der Ansicht der Vorinstanz um einen blossen Hinweis auf einen standardisierten Vertragszusatz handelt. Wie die Beschwerdeführer zu Recht geltend machen, sind die zwar nicht als AGB bezeichneten sogenannten zusätzlichen "Vertragsbestimmungen" in allgemeiner Art und Weise bzw. standardmässig verfasst. So kann den Feststellungen der Vorinstanz nicht entnommen werden, dass die Liste der "übrigen Nebenkosten" individuell auf das vorliegende Vertragsverhältnis angepasst worden wäre. Hiervon ist auch nicht auszugehen; zumal die Liste vorgedruckt ist, weder durchgestrichene noch von Hand hinzugefügte Positionen enthält (vgl. dazu insbesondere die Urteile 4A_622/2015 vom 4. Februar 2016 E. 3.3.1-3.3.3; 4A_185/2009 vom 28. Juli 2009 E. 2.4.3) und von den Parteien denn auch nicht unterschrieben wurde. Es mag schliesslich zutreffen, dass die Liste, welche die einzelnen Nebenkosten konkretisiert, einfach auffindbar war; dennoch befand sie sich - entgegen dem, was dem angefochtenen Urteil entnommen werden könnte - lediglich in einem vorgedruckten Vertragszusatz.
Da der unterschriebene Mietvertrag die Nebenkosten nicht aufzählt, sondern einzig den Oberbegriff der "übrigen Nebenkosten" in Beziehung zu den Heizungs- und Warmwasserkosten setzt, kann entgegen dem Standpunkt der Vorinstanz auch keine Rede davon sein, die Nebenkosten seien bereits im unterschriebenen Vertragsdokument zu Lasten der Mieter ausgeschieden und im Vertragszusatz lediglich konkretisiert worden.
2.3. Ob die Vorinstanz im Ergebnis Bundesrecht verletzte, indem sie Grundsätze der Rechtsprechung hinsichtlich der objektiven Vertragsauslegung einer Nebenkostenvereinbarung unrichtig anwandte, braucht nicht abschliessend beurteilt zu werden, falls sie die Anforderungen von <ref-law> bereits aufgrund eines entsprechenden natürlichen Konsenses als erfüllt betrachten konnte:
In einer Eventualbegründung hielt die Vorinstanz zum Prozesssachverhalt für das Bundesgericht grundsätzlich verbindlich fest (<ref-law>, vgl. dazu vorstehend E. 1.2), die Beschwerdeführer hätten selbst ausgeführt, den Vertrag gelesen zu haben und zugegeben, auf die auf der zweiten Seite vermerkten Nebenkosten hingewiesen worden zu sein. Hieraus folgerte die Vorinstanz, die Nebenkosten seien bei Vertragsschluss ein Thema gewesen und stellte fest, dass die Mieter bereits zu diesem Zeitpunkt erkennen konnten, welche Nebenkosten ihnen in welcher Grössenordnung zusätzlich anfielen.
Die Beschwerdeführer stellen nicht in Frage, jedenfalls nicht genügend konkret, dass sie im Rahmen des Vertragsschlusses von der Liegenschaftsverwaltung auf die Nebenkosten hingewiesen wurden. Sie beschränken sich vielmehr auf den Einwand, es habe keine eigentliche Diskussion über die Nebenkosten stattgefunden. Hiermit beanstanden sie die vorinstanzlichen Feststellungen nur vermeintlich. Mithin ist dem angefochtenen Urteil gar keine entsprechende Feststellung zu entnehmen. Entgegen dem, was die Beschwerdeführer wohl anzudeuten versuchen, müssen die Mietparteien denn auch keine eigentliche Diskussion über die Nebenkosten geführt haben, um sich diesbezüglich geeinigt zu haben.
Soweit die Beschwerdeführer ferner vorbringen, aus einem blossen Hinweis seitens der Verwaltung auf die Nebenkosten könne nicht abgeleitet werden, sie - die Mieter - hätten sichere Kenntnis der einzelnen abzurechenden Nebenkosten, hat ihr Standpunkt etwas für sich. Sie machen aber weder geltend, der Sachverhalt sei insoweit offensichtlich unrichtig festgestellt worden noch begründen sie, worin Willkür zu erblicken sei. Dementsprechend erübrigen sich weitere Ausführungen hierzu. Denn die Ermittlung des tatsächlichen Parteiwillens und damit das Bestehen eines natürlichen Konsenses beruht auf Beweiswürdigung, die vorbehältlich Art. 97 und <ref-law> der bundesgerichtlichen Überprüfung entzogen ist. Mangels rechtsgenüglicher Sachverhaltsrüge im Sinne von <ref-law> ist von den Feststellungen auszugehen, wie sie dem angefochtenen Urteil zugrunde liegen (vgl. dazu vorstehend E. 1.2). Danach haben sich die Parteien im Zeitpunkt des Mietvertragsabschlusses tatsächlich übereinstimmend betreffend die Übernahme der im Vertragszusatz genannten Nebenkosten durch die Mieter geeinigt.
2.4. Die Beschwerdeführer kritisieren überdies, die Vorinstanz habe eine objektive und subjektive Auslegung vermengt. Es mag zutreffen, dass die Vorinstanz ihre Feststellungen zu einem subjektiven Konsens in ihren Erwägungen teilweise nicht eindeutig von ihren Überlegungen zu einer objektiven Einigung abgrenzte. Den Beschwerdeführern ist auch insoweit zu folgen, als sie ausführen, die objektivierte Vertragsauslegung nach dem Vertrauensprinzip greife nicht Platz, wenn sich die Parteien tatsächlich übereinstimmend verstanden und entsprechend geeinigt haben (vgl. zum Vorrang der subjektiven vor der objektivierten Vertragsauslegung <ref-ruling> E. 5.2.2; <ref-ruling> E. 4, 268 E. 2.3.2). Doch ändert dies nichts daran, dass der Entscheid der Vorinstanz im Ergebnis nicht zu beanstanden ist, nachdem sich die im angefochtenen Urteil - entgegen dem klassischen Aufbau - nur angefügte Begründung zum subjektiven Konsens als zutreffend respektive zumindest willkürfrei erwiesen hat. Denn soweit die Mieter beim Abschluss des Vertrages tatsächlich erkannten, welche Nebenkosten ihnen vertraglich aufgebürdet werden sollen, und den Vertrag in diesem Wissen unterzeichneten, ist <ref-law> Genüge getan, und sie können sich im Nachhinein nicht auf die fehlende Bestimmtheit des Vertragstextes berufen. In diesem Sinne konkretisiert <ref-law> die allgemeine Auslegungsregel des <ref-law>, hebt sie aber nicht aus den Angeln (Urteile 4P.323/2006 vom 21. März 2007 E. 2.2; 4C.268/2006 vom 7. November 2006 E. 3.3; 4P.100/1992 vom 29. Juni 1993 E. 2b).
2.5. Die Beschwerdeführer bemängeln des Weitern, dass die Vorinstanz ihnen widersprüchliches prozessuales Verhalten vorwarf. Sie machen geltend, sich zu Recht gegen die Wiedereröffnung des Beweisverfahrens zur Wehr gesetzt zu haben. Da die Nebenkostenabrechnungen bereits im Recht gelegen hätten, so die Beschwerdeführer weiter, sei es der Vorinstanz möglich gewesen, diejenigen Nebenkosten abzusprechen, welche mangels Zusammenhangs mit dem Gebrauch der Sache gar nicht nebenkostenfähig seien. Indem die Vorinstanz es unterliess, eine derartige Abgrenzung vorzunehmen, habe sie <ref-law> verletzt.
Soweit die Beschwerdeführer ihr Prozessverhalten entgegen der Ansicht der Vorinstanz als nicht widersprüchlich bezeichnen, verfängt ihre Argumentation nicht. Wenn sie einerseits eine Abgrenzung der angeblich teilweise nicht nebenkostenfähigen Punkte verlangen, sich aber andererseits gegen die Wiedereröffnung des Beweisverfahrens zur Wehr setzen, mit welcher die erste Instanz gemäss Prozesssachverhalt weitere Beweise insbesondere zur Nebenkostenfähigkeit der diversen Kostenpunkte abnehmen wollte, erscheint ihr Verhalten durchaus als nicht in sich stimmig. Jedenfalls ist mangels stringenter Begründung weder dargetan noch ersichtlich, inwiefern die Vorinstanz Recht verletzt haben könnte, wenn sie dieses prozessuale Verhalten als widersprüchlich betrachtete.
Insoweit die Beschwerdeführer schliesslich gewisse Nebenkosten als nicht nebenkostenfähig erachten, ist auf ihr widersprüchliches Prozessverhalten zu verweisen. Überdies konkretisieren sie nicht einmal, um welche Nebenkostenpunkte es sich denn handeln sollte. Ihre in diesem Zusammenhang erneuerte Rüge einer Verletzung von <ref-law> kann - sofern sie überhaupt rechtsgenüglich begründet ist (vgl. dazu vorstehend E. 1.1) - vor diesem Hintergrund von vornherein nicht verfangen.
3.
Die Beschwerde ist abzuweisen, soweit auf sie eingetreten werden kann. Die Gerichtskosten sind dementsprechend den unterliegenden Beschwerdeführern gemeinsam - zu gleichen Teilen und unter solidarischer Haftung - aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Sie haben die Beschwerdegegnerin, die sich vor Bundesgericht durch ihren Anwalt vernehmen liess, ausserdem für das bundesgerichtliche Verfahren - wiederum zu gleichen Teilen und unter solidarischer Haftung - zu entschädigen (Art. 68 Abs. 1, 2 und 4 BGG).

Das Bundesgericht erkennt:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben die Beschwerdegegnerin mit insgesamt Fr. 2'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht Freiburg, II. Zivilappellationshof, schriftlich mitgeteilt.
Lausanne, 9. September 2019
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Hug