Sachverhalt: A. Am xx.xx.2017 verstarb die unter Beistandschaft stehende D._ (geb. 1927). Mit Entscheid vom 27. Juni 2018 stellte die Kindes- und Erwachsenenschutzbehörde Olten-Gösgen (KESB) fest, dass die Beistandschaft beendet sei und von der Kontrolle abgeschrieben werde. Ausserdem genehmigte sie den Schlussbericht und die Schlussrechnung für den Zeitraum vom xx.xx.2016 bis xx.xx.2017 und erteilte der Beiständin die Entlastung. Ferner wies die KESB auf die gesetzlichen Verantwortlichkeiten hin, legte die Entschädigung für die Führung der Beistandschaft auf Fr. 3'070.-- fest (umfassend u.a. eine Mandatsträgerentschädigung von Fr. 2'200.--) und ersuchte die Sozialregion E._, der Beiständin die Entschädigung im Voraus auszurichten. F._, B._ (Beschwerdeführerin) und A._ (Beschwerdeführer), die Erben der ehemals Verbeiständeten, verpflichtete die KESB unter solidarischer Haftbarkeit zur Zahlung von Fr. 3'070.-- an die Sozialregion. Die Verfahrenskosten auferlegte die KESB ebenfalls den Erben. B. Die von B._ und A._ gegen diesen Entscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons Solothurn mit Urteil vom 23. November 2018 (eröffnet am 26. November 2018) ab, soweit es darauf eintrat (Dispositivziffer 1). Die Prozesskosten auferlegte es B._ und A._ (Dispositivziffer 2 und 3). C. Mit Beschwerde in Zivilsachen vom 11. Januar 2019 gelangen B._ und A._ mit den folgenden Anträgen in der Sache an das Bundesgericht: "1. Das Urteil des Verwaltungsgerichts des Kantons Solothurn [...] sei aufzuheben und der Schlussrechnung bezüglich nachfolgender Punkte die Genehmigung zu versagen: - Rechnung G._ AG vom 28. Juni 2017; - Rechnung H._ AG vom 13. Oktober 2015; - Darlehen A._; - Verkaufspreis Liegenschaft GB U._ Nr. xxx. 2. Das Urteil des Verwaltungsgerichts des Kantons Solothurn [...] sei aufzuheben und - in Aufhebung von Ziffer 3.2 des Entscheids [der KESB] der Beiständin die Entlastung im Sinne von Art. 425 Abs. 4 ZGB zu verweigern. - in Aufhebung von Ziffer 3.4 des Entscheids [der KESB] die Mandatsträgerentschädigung in der Höhe von CHF 2'200.-- zu streichen. 3. Eventualiter: Das Urteil des Verwaltungsgerichts des Kantons Solothurn [...] sei aufzuheben und die Sache zur Neubeurteilung an die [KESB] zurückzuweisen. 4. Subeventualiter: Das Urteil des Verwaltungsgerichts des Kantons Solothurn [...] sei aufzuheben und die Sache zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen." Mit Eingaben vom 8. und vom 12. Juli 2019 beantragen das Verwaltungsgericht und die Beiständin, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die KESB hat sich nicht vernehmen lassen. Diese Eingaben wurden B._ und A._ zugestellt, welche sich nicht mehr haben vernehmen lassen. Im Übrigen hat das Bundesgericht die Akten des kantonalen Verfahrens eingeholt.