Sachverhalt:
A.
Am xx.xx.2017 verstarb die unter Beistandschaft stehende D._ (geb. 1927). Mit Entscheid vom 27. Juni 2018 stellte die Kindes- und Erwachsenenschutzbehörde Olten-Gösgen (KESB) fest, dass die Beistandschaft beendet sei und von der Kontrolle abgeschrieben werde. Ausserdem genehmigte sie den Schlussbericht und die Schlussrechnung für den Zeitraum vom xx.xx.2016 bis xx.xx.2017 und erteilte der Beiständin die Entlastung. Ferner wies die KESB auf die gesetzlichen Verantwortlichkeiten hin, legte die Entschädigung für die Führung der Beistandschaft auf Fr. 3'070.-- fest (umfassend u.a. eine Mandatsträgerentschädigung von Fr. 2'200.--) und ersuchte die Sozialregion E._, der Beiständin die Entschädigung im Voraus auszurichten. F._, B._ (Beschwerdeführerin) und A._ (Beschwerdeführer), die Erben der ehemals Verbeiständeten, verpflichtete die KESB unter solidarischer Haftbarkeit zur Zahlung von Fr. 3'070.-- an die Sozialregion. Die Verfahrenskosten auferlegte die KESB ebenfalls den Erben.
B.
Die von B._ und A._ gegen diesen Entscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons Solothurn mit Urteil vom 23. November 2018 (eröffnet am 26. November 2018) ab, soweit es darauf eintrat (Dispositivziffer 1). Die Prozesskosten auferlegte es B._ und A._ (Dispositivziffer 2 und 3).
C.
Mit Beschwerde in Zivilsachen vom 11. Januar 2019 gelangen B._ und A._ mit den folgenden Anträgen in der Sache an das Bundesgericht:
"1. Das Urteil des Verwaltungsgerichts des Kantons Solothurn [...] sei aufzuheben und der Schlussrechnung bezüglich nachfolgender Punkte die Genehmigung zu versagen:
- Rechnung G._ AG vom 28. Juni 2017;
- Rechnung H._ AG vom 13. Oktober 2015;
- Darlehen A._;
- Verkaufspreis Liegenschaft GB U._ Nr. xxx.
2. Das Urteil des Verwaltungsgerichts des Kantons Solothurn [...] sei aufzuheben und
- in Aufhebung von Ziffer 3.2 des Entscheids [der KESB] der Beiständin die Entlastung im Sinne von <ref-law> zu verweigern.
- in Aufhebung von Ziffer 3.4 des Entscheids [der KESB] die Mandatsträgerentschädigung in der Höhe von CHF 2'200.-- zu streichen.
3. Eventualiter: Das Urteil des Verwaltungsgerichts des Kantons Solothurn [...] sei aufzuheben und die Sache zur Neubeurteilung an die [KESB] zurückzuweisen.
4. Subeventualiter: Das Urteil des Verwaltungsgerichts des Kantons Solothurn [...] sei aufzuheben und die Sache zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen."
Mit Eingaben vom 8. und vom 12. Juli 2019 beantragen das Verwaltungsgericht und die Beiständin, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die KESB hat sich nicht vernehmen lassen. Diese Eingaben wurden B._ und A._ zugestellt, welche sich nicht mehr haben vernehmen lassen.
Im Übrigen hat das Bundesgericht die Akten des kantonalen Verfahrens eingeholt.

Erwägungen:
1.
1.1. Fristgerecht (Art. 100 Abs. 1 und Art. 46 Abs. 1 Bst. c BGG) angefochten ist der Endentscheid (<ref-law>) eines oberen kantonalen Gerichts, das als Rechtsmittelinstanz (<ref-law>) über die Genehmigung der Schlussrechnung für eine Beistandschaft sowie die Entlastung und Entschädigung der Beiständin entschieden hat. Dabei handelt es sich um eine öffentlich-rechtliche Angelegenheit in unmittelbarem Zusammenhang mit dem Zivilrecht (Art. 72 Abs. 2 Bst. b Ziff. 6 BGG) vermögensrechtlicher Natur (Urteil 5A_151/2014 vom 4. April 2014 E. 1). Ob der Streitwert erreicht ist (Art. 74 Abs. 1 Bst. b BGG) und die Beschwerdeführer zur Beschwerde berechtigt sind (<ref-law>), kann mit Blick auf den Ausgang des Verfahrens offen bleiben.
1.2. Unzulässig sind die Anträge der Beschwerdeführer auf Aufhebung des Entscheids der KESB. Dieser Entscheid ist durch das Urteil des Verwaltungsgerichts ersetzt worden (Devolutiveffekt), bildet im Verfahren vor Bundesgericht nicht mehr Anfechtungsobjekt und gilt inhaltlich als mit dem Urteil des Verwaltungsgerichts angefochten (vgl. <ref-ruling> E. 1.2; <ref-ruling> E. 1.4).
2.
Mit der Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 f. BGG geltend gemacht werden. Das Bundesgericht wendet das Recht in diesem Bereich von Amtes wegen an (<ref-law>) und prüft mit freier Kognition, ob der angefochtene Entscheid Recht verletzt. Es befasst sich grundsätzlich nur mit formell ausreichend begründeten Einwänden (<ref-law>), was eine Auseinandersetzung mit dem angefochtenen Entscheid erfordert (<ref-ruling> E. 2.4). Sodann ist das Bundesgericht an den festgestellten Sachverhalt grundsätzlich gebunden (<ref-law>). Wird eine offensichtlich unrichtige, d.h. willkürliche Sachverhaltsfeststellung gerügt, so gilt hierfür das strenge Rügeprinzip nach <ref-law>. Dieses kommt auch bei der Rüge der Verletzung verfassungsmässiger Rechte zur Anwendung (vgl. dazu im Einzelnen <ref-ruling> E. 2.3 S. 266).
3.
3.1. In der Sache umstritten ist vorab die Genehmigung der Schlussrechnung für den Zeitraum vom xx.xx.2016 bis xx.xx.2017 und daran anschliessend die Entlastung der Beiständin. Das Verwaltungsgericht hält diesbezüglich fest, der Schlussbericht diene der Information und nicht der Überprüfung der Führung der Beistandschaft. Die Genehmigung sei nur zu verweigern, wenn er dieser Informationspflicht nicht genüge. Nicht anders verhalte es sich mit der Schlussrechnung. Die Behörde habe sich nicht zu allfälligen Verfehlungen der Beistandsperson zu äussern. Die Genehmigung habe weder unmittelbare materiellrechtliche Bedeutung noch werde der Mandatsperson eine vollständige Decharge erteilt. Allfällige Rechtsansprüche des Schutzbefohlenen, namentlich Verantwortlichkeitsansprüche, blieben von der Genehmigung unberührt. Die Beschwerdeführer würden sich in ihren Vorbringen darauf beschränken, der Beiständin Fehlhandlungen vorzuwerfen. Eine Verletzung der Informationspflicht - der einzig zulässige Beschwerdegrund - sei weder dargetan noch ersichtlich. Abgesehen davon betreffe ein Vorbringen der Beschwerdeführer nicht die fragliche Rechnungsperiode, sondern die Zeit davor. Die Beschwerde sei damit offensichtlich unbegründet.
3.2. Hierin liegt nach Ansicht der Beschwerdeführer sowohl eine Verletzung des Anspruchs auf rechtliches Gehör (<ref-law>) als auch des Willkürverbots, von Treu und Glauben (<ref-law>) und von Bundesrecht (<ref-law>). Es treffe nicht zu, dass die Schlussrechnung bereits zu genehmigen sei, wenn sie der Informationsfunktion nachkomme. Für eine Genehmigung sei vielmehr kumulativ notwendig, dass die Rechnung in formeller Hinsicht korrekt vorgelegt werde, dass die belegten Buchungen zweckmässig seien und den Interessen der betreuten Person dienten, dass das Mandat erfüllt sei und dass alle erforderlichen Zustimmungen eingeholt worden seien. Andernfalls sei die Schlussrechnung zur Berichtigung zurückzuweisen oder mit entsprechenden Vorbehalten zu genehmigen. Indem das Verwaltungsgericht sich nicht mit den zur Sache erhobenen Rügen der Beschwerdeführer betreffend die Schlussrechnung auseinandergesetzt habe, habe es Verfassungs- und Bundesrecht verletzt. In der Folge wiederholen die Beschwerdeführer auch vor Bundesgericht, inwiefern sie die Rechnung als unrichtig ansehen. Weiter lassen die Beschwerdeführer den Vorwurf nicht gelten, sie hätten keine Verletzung der Informationspflichten geltend gemacht. Ganz im Gegenteil seien die entsprechenden Verletzungen vor Verwaltungsgericht substanziiert aufgezeigt worden. Auch diese Vorbringen wiederholen sie anschliessend vor Bundesgericht.
3.3. Zu den Einwänden der Beschwerdeführer ist festzuhalten, was folgt:
3.3.1. Endet das Amt, so erstattet der Beistand oder die Beiständin der Erwachsenenschutzbehörde den Schlussbericht und reicht gegebenenfalls die Schlussrechnung ein (<ref-law>). Die Erwachsenenschutzbehörde prüft und genehmigt den Schlussbericht und die Schlussrechnung auf die gleiche Weise, wie die periodischen Berichte und Rechnungen (<ref-law>). Die Schlussrechnung dient nach der Rechtsprechung wie auch der Schlussbericht der Information und nicht der Überprüfung der Beistandschaft. Genügt sie dieser Informationsfunktion, ist die Genehmigung auszusprechen, ohne dass die Behörde sich über allfällige Verfehlungen der Beistandsperson zu äussern hätte. Die Genehmigung der Schlussrechnung hat weder unmittelbare materiellrechtliche Bedeutung, noch wird der Mandatsperson die vollständige Decharge erteilt. Allfällige Rechtsansprüche der verbeiständeten Person (namentlich Verantwortlichkeitsansprüche gemäss <ref-law>) bleiben von der Genehmigung unberührt (Urteile 5A_274/2018 vom 21. September 2018 E. 4.3.1; 5A_714/2014 vom 2. Dezember 2014 E. 4.3; 5A_151/2014 vom 4. April 2014 E. 6.1; je mit Hinweisen).
3.3.2. Die Beschwerdeführer missachten diese Rechtsprechung, soweit sie es für die Genehmigung der Schlussrechnung als notwendig erachten, dass die ausgewiesenen Buchungen zweckmässig und der verbeiständeten Person dienlich sind und dass die Beistandschaft korrekt geführt wurde. Ihnen hilft auch der Hinweis auf eine Passage aus dem Urteil 5A_714/2014 vom 2. Dezember 2014 nicht weiter, wonach sich die Genehmigung der Schlussrechnung nicht auf formelle Punkte beschränken dürfe (Urteil, a.a.O., E. 4.3). Ohne hierauf im Einzelnen einzugehen ist festzuhalten, dass aus dieser Formulierung nicht abgeleitet werden kann, dass eine volle inhaltliche Prüfung der Rechnung stattzufinden hätte, wie die Beschwerdeführer dies glauben. Eine solche Prüfung ist vielmehr einem allfälligen Verantwortlichkeitsverfahren vorbehalten. Dementsprechend ist auf die weiteren von den Beschwerdeführern in diesem Zusammenhang erhobenen und auf die inhaltliche Überprüfung der Schlussrechnung bzw. der Mandatsführung abzielenden Rügen nicht weiter einzugehen und musste auch das Obergericht dies nicht tun.
3.3.3. Prinzipiell zu hören ist demgegenüber das weitere Vorbringen der Beschwerdeführer, die Schlussrechnung genüge der Informationsfunktion nicht, was bereits vor Obergericht gerügt worden sei. Den Beschwerdeführern muss aber entgegengehalten werden, dass sie auch unter diesem Titel letztlich einzig die inhaltliche Richtigkeit der Schlussrechnung und keine im Rahmen des vorliegenden Verfahrens überprüfbaren Fragen thematisieren. Dies gilt sowohl für die Rüge, der (zweimalige) Austausch der Schliessanlage einer Liegenschaft hätte nicht der Verbeiständeten in Rechnung gestellt werden dürfen, als auch für die Vorbringen, eine Rechnung der "H._ AG" sei massiv überhöht und die Parteien eines Darlehensvertrags seien nicht korrekt festgestellt worden. Folglich sind auch diese Vorbringen der Beschwerdeführer nicht geeignet, die strittige Rechnungsgenehmigung in Frage zu stellen und ist es nicht zu beanstanden, dass das Obergericht hierauf nicht weiter einging.
3.4. Nach dem Ausgeführten erweist sich die Rüge der Verletzung von <ref-law> als unbegründet. Unbehelflich sind damit auch die identisch begründeten Verfassungsrügen der Beschwerdeführer. Die Beschwerde gegen die Genehmigung der Schlussrechnung und daran anschliessend die Entlastung der Beiständin (dazu: DANIEL ROSCH, in: Büchler et al. [Hrsg.], FamKomm Erwachsenenschutz, 2013, N. 26 zu <ref-law>; PHILIPPE MEIER, Droit de la protection de l'adulte, 2016, Rz. 1165 S. 563 f.) ist damit abzuweisen.
4.
4.1. Strittig ist weiter die Entschädigung der Beiständin. Hierzu erwägt das Verwaltungsgericht, die Entschädigung sei korrekt festgesetzt worden, entspreche dem übergeordneten Recht und sei daher nicht zu beanstanden. Die Beschwerdeführer würden vorbringen, die Beiständin habe mündlich zugesichert, das Mandat unentgeltlich zu führen. Dieses Vorbringen laufe ins Leere. Zwar sei bei der Entschädigungsfestsetzung dem sozialen Charakter des Erwachsenenschutzes Rechnung zu tragen. Aus den Akten ergebe sich indes nicht im Ansatz, dass die Beiständin beabsichtigt habe, unentgeltlich tätig zu werden.
4.2. Die Beschwerdeführer bestreiten nicht, dass der Entschädigungsbetrag grundsätzlich korrekt festgesetzt wurde. Sie verneinen aber in grundlegender Weise einen Entschädigungsanspruch der Beiständin. Tatsächlich habe diese den Beschwerdeführern gegenüber erklärt, das Mandat unentgeltlich auszuüben. Zum Beweis dieser Darstellung hätten die Beschwerdeführer im Verfahren vor Verwaltungsgericht die Befragung der Beiständin beantragt. Diese Rüge sei unbehandelt geblieben. Stattdessen habe das Verwaltungsgericht allein die - unbestrittene - Angemessenheit der Entschädigung geprüft und dadurch den Anspruch auf rechtliches Gehör verletzt.
Die Beiständin hält dem in ihrer Vernehmlassung an das Bundesgericht entgegen, sie habe ihre Aufgabe nach bestem Wissen und Gewissen ausgeführt. Die Beschwerdeführer hätten sich mit ihrer Einsetzung als Beiständin unterschriftlich einverstanden erklärt. Vor diesem Hintergrund seien ihre Vorbringen nicht stichhaltig.
4.3. Die Beschwerdeführer rügen zu Unrecht, die Vorinstanz habe ihr Vorbringen zum Verzicht auf eine Mandatsentschädigung unbeachtet gelassen. Vielmehr hat das Verwaltungsgericht diesem Einwand gestützt auf die Akten jegliche Glaubwürdigkeit abgesprochen. Gleichzeitig hat es im Rahmen einer antizipierten Beweiswürdigung sämtliche von den Beschwerdeführern eingebrachten Beweisanträge (zumindest implizit) abgewiesen (vgl. dazu <ref-ruling> E. 3.3; <ref-ruling> E. 5.3). Die Beschwerdeführer setzen sich hiermit nicht auseinander, weshalb die Beschwerde insoweit den Begründungsanforderungen nicht genügt und nicht auf sie einzutreten ist (vorne E. 2; zur Kognition des Bundesgerichts im Zusammenhang mit der antizipierten Beweiswürdigung vgl. <ref-ruling> E. 4.3.2).
5.
Zusammenfassend ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind die Kosten den unterliegenden Beschwerdeführern aufzuerlegen (<ref-law>). Anspruch auf Ausrichtung einer Parteientschädigung besteht nicht (Art. 68 Abs. 1 und 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 11. November 2019
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Sieber