Sachverhalt: A. A._ ist Eigentümer einer Liegenschaft an der V._strasse 3 in X._/SO. Am 26. September 2008 ersuchte die Bau- und Werkkommission der Einwohnergemeinde X._ die Solothurnische Gebäudeversicherung (SGV) um Prüfung eines Bewilligungsgesuches für eine Holzfeuerungsanlage in dieser Liegenschaft. Die SGV nahm am 6. Oktober 2008 das Gesuch verbindlich zur Kenntnis und wies auf die Brandschutzvorschriften hin. Am 21. Oktober 2008 bewilligte die Bau- und Werkkommission auch ein Baugesuch zur Sanierung des Einfamilienhauses an der V._strasse 3 in X._. Es ist unklar, ob diese Baubewilligung der SGV in der Folge zur Kenntnis gebracht worden ist. Der Einwohnergemeinde liegt ein entsprechendes Schreiben vor, nicht aber der SGV; aus diesem Grunde wurde nie eine Bauversicherung abgeschlossen. Am 28. September 2009 brannte die Liegenschaft an der V._strasse 3 in X._ - ausgelöst durch Schweissarbeiten im Rahmen der umfassenden Renovation - zu einem grossen Teil nieder. B. B.a. Am 2. Oktober 2009 wurde der Brandschaden von der AmteiSchätzungskommission Olten-Gösgen abgeschätzt. Mit Verfügung vom 15. Oktober 2009 setzte die SGV den Gebäudeschaden auf Fr. 489'800.--, weitere Entschädigungen auf Fr. 39'200.-- und die Kosten für ein Notdach auf Fr. 5'500.-- fest. Da die Schadenssumme grösser als 1/5 der Schätzungssumme war, wurde der Schaden von der SGV nach dem Verhältnis des beschädigten Teils zum gesamten Gebäude und dessen Schätzungssumme ausgemittelt. Weiter legte die SGV den Zeitwert des Gebäudes zum Zeitpunkt des Schadens auf 75% fest und führte dazu aus, die Auszahlung des Zeitwertes (75%) erfolge, sobald der Schadensplatz geräumt sei, die Auszahlung der restlichen 25% nach Wiederherstellung des Gebäudes. Diese Verfügung erwuchs in Rechtskraft. Am 2. Februar 2010 richtete die SGV eine Teilzahlung in der Höhe von Fr. 401'163.85 an A._ aus. B.b. Am 1. September 2010 teilte A._ der SGV mit, er habe durch Akteneinsicht erfahren, dass die Einwohnergemeinde X._ die Baubewilligung im Jahr 2008 der SGV gemeldet habe. Es sei ihm nicht klar, warum es nicht zum Abschluss einer Versicherung des Baufortschritts gekommen sei. Aufforderungsgemäss reichte A._ am 23. November 2010 zur Plausibilisierung des Gebäudewertes zum Zeitpunkt des Brandes eine Liste der Wertvermehrungen ein. Anlässlich einer Besprechung mit der SGV lehnte A._ es ab, zusammen mit der SGV einen Architekten zur Berechnung des Gebäudewertes zum Zeitpunkt des Brandes zu beauftragen. B.c. Mit als "Ergänzung Schadensumme" bezeichnetem Schreiben vom 4. März 2011 führte die SGV aus, sie habe den Gebäudewert vor dem Brand mit den wertvermehrenden Investitionen aus dem Umbau festgesetzt, woraus sich neu eine Schadenssumme von Fr. 582'150.-- ergebe. Ohne Gegenbericht bis zum 25. März 2011 werde die Differenz von Fr. 69'263.-- (Zeitwert 75%) auf das Postkonto von A._ überwiesen. Am 14. Mai 2011 zeigte dessen Rechtsvertreter der SGV seine Mandatierung an und teilte mit, er sei einverstanden mit der sofortigen Auszahlung der in Aussicht gestellten zusätzlichen Entschädigungssumme, nicht aber damit, dass es sich um eine Schlusszahlung handle. Die SGV löste hierauf eine "Teilzahlung" über Fr. 69'263.-- aus und am 24. Juni 2011 erfolgte die "Schlusszahlung" über Fr. 145'537.-- (entspricht 25% von Fr. 582'150.--). B.d. In der Folge kam es zu zahlreichen Schreiben und Telefonaten zwischen den Verfahrensbeteiligten. So liess A._ am 16. Juni 2011 eine private Expertise in Auftrag geben, worauf die SGV am 7. Juli 2011 mitteilte, sie werde diese Expertise nicht anerkennen, da sie vorgängig nicht zum Expertisenauftrag angehört worden sei. Die SGV führte weiter aus, sie habe in der Angelegenheit eine Schlusszahlung vorgenommen und erachte die Angelegenheit als erledigt. Auf eine telefonische Anfrage bzw. ein weiteres Schreiben im Dezember 2011 hin wiederholte die SGV ihren Standpunkt (mit Schreiben vom 21. Dezember 2011 und E-Mail vom 4. Januar 2012). Mit Schreiben vom 3. Mai 2012 machte A._ - gestützt auf die Expertise der Architekten C._ und D._ - gegenüber der SGV einen Gesamtschaden von Fr. 739'000.-- (bzw. einen Restbetrag von Fr. 156'850.-- nach Abzug der bereits ausgerichteten Zahlungen) geltend und bat um qualifizierte Stellungnahme oder den Erlass einer beschwerdefähigen Verfügung. Sollte bis zum 30. Juni 2012 keine Schlussverfügung der SGV ergangen sein, werde beim Verwaltungsgericht eine Rechtsverweigerungsbeschwerde erhoben. B.e. Am 3. September 2012 erhob A._ "Rechtsverweigerungsbeschwerde" an das Verwaltungsgericht des Kantons Solothurn. Er beantragte, es sei ihm für den erlittenen Brandschaden eine Restvergütung von Fr. 216'850.-- auszurichten, eventualiter sei ein gerichtliches Gutachten zur Festlegung des Neuwerts der Liegenschaft im Zeitpunkt des Brandes einzuholen. Die Vorinstanz beauftragte am 26. März 2013 den Sachverständigen B._ mit dem Erstellen einer Expertise. Die Expertise vom 30. August 2013 kam zum Schluss, dass die gesamte Schadenssumme, welche die SGV zu übernehmen habe, Fr. 632'410.-- betrage. Mit Urteil vom 5. Juni 2014 wies das Verwaltungsgericht die Beschwerde ab, soweit es darauf eintrat. C. Mit Eingabe vom 10. Juli 2014 führt A._ Beschwerde beim Bundesgericht. Er beantragt, das Urteil des Verwaltungsgerichts des Kantons Solothurn vom 5. Juni 2014 aufzuheben und die Vorinstanz anzuweisen, die Angelegenheit materiell zu beurteilen. Das Gerichtsgutachten B._ sei "wegen Mangelhaftigkeit und Anschein der Befangenheit" aus dem Recht zu weisen. Eventuell sei das Urteil aufzuheben, und die Rechtsverweigerung durch die SGV zu bestätigen und diese anzuweisen, eine anfechtbare Verfügung zu erlassen. Das Verwaltungsgericht des Kantons Solothurn beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Die SGV schliesst auf Abweisung der Beschwerde.