Sachverhalt:
A.
A._ ist Eigentümer einer Liegenschaft an der V._strasse 3 in X._/SO. Am 26. September 2008 ersuchte die Bau- und Werkkommission der Einwohnergemeinde X._ die Solothurnische Gebäudeversicherung (SGV) um Prüfung eines Bewilligungsgesuches für eine Holzfeuerungsanlage in dieser Liegenschaft. Die SGV nahm am 6. Oktober 2008 das Gesuch verbindlich zur Kenntnis und wies auf die Brandschutzvorschriften hin. Am 21. Oktober 2008 bewilligte die Bau- und Werkkommission auch ein Baugesuch zur Sanierung des Einfamilienhauses an der V._strasse 3 in X._. Es ist unklar, ob diese Baubewilligung der SGV in der Folge zur Kenntnis gebracht worden ist. Der Einwohnergemeinde liegt ein entsprechendes Schreiben vor, nicht aber der SGV; aus diesem Grunde wurde nie eine Bauversicherung abgeschlossen.
Am 28. September 2009 brannte die Liegenschaft an der V._strasse 3 in X._ - ausgelöst durch Schweissarbeiten im Rahmen der umfassenden Renovation - zu einem grossen Teil nieder.
B.
B.a. Am 2. Oktober 2009 wurde der Brandschaden von der AmteiSchätzungskommission Olten-Gösgen abgeschätzt. Mit Verfügung vom 15. Oktober 2009 setzte die SGV den Gebäudeschaden auf Fr. 489'800.--, weitere Entschädigungen auf Fr. 39'200.-- und die Kosten für ein Notdach auf Fr. 5'500.-- fest. Da die Schadenssumme grösser als 1/5 der Schätzungssumme war, wurde der Schaden von der SGV nach dem Verhältnis des beschädigten Teils zum gesamten Gebäude und dessen Schätzungssumme ausgemittelt. Weiter legte die SGV den Zeitwert des Gebäudes zum Zeitpunkt des Schadens auf 75% fest und führte dazu aus, die Auszahlung des Zeitwertes (75%) erfolge, sobald der Schadensplatz geräumt sei, die Auszahlung der restlichen 25% nach Wiederherstellung des Gebäudes. Diese Verfügung erwuchs in Rechtskraft. Am 2. Februar 2010 richtete die SGV eine Teilzahlung in der Höhe von Fr. 401'163.85 an A._ aus.
B.b. Am 1. September 2010 teilte A._ der SGV mit, er habe durch Akteneinsicht erfahren, dass die Einwohnergemeinde X._ die Baubewilligung im Jahr 2008 der SGV gemeldet habe. Es sei ihm nicht klar, warum es nicht zum Abschluss einer Versicherung des Baufortschritts gekommen sei. Aufforderungsgemäss reichte A._ am 23. November 2010 zur Plausibilisierung des Gebäudewertes zum Zeitpunkt des Brandes eine Liste der Wertvermehrungen ein. Anlässlich einer Besprechung mit der SGV lehnte A._ es ab, zusammen mit der SGV einen Architekten zur Berechnung des Gebäudewertes zum Zeitpunkt des Brandes zu beauftragen.
B.c. Mit als "Ergänzung Schadensumme" bezeichnetem Schreiben vom 4. März 2011 führte die SGV aus, sie habe den Gebäudewert vor dem Brand mit den wertvermehrenden Investitionen aus dem Umbau festgesetzt, woraus sich neu eine Schadenssumme von Fr. 582'150.-- ergebe. Ohne Gegenbericht bis zum 25. März 2011 werde die Differenz von Fr. 69'263.-- (Zeitwert 75%) auf das Postkonto von A._ überwiesen. Am 14. Mai 2011 zeigte dessen Rechtsvertreter der SGV seine Mandatierung an und teilte mit, er sei einverstanden mit der sofortigen Auszahlung der in Aussicht gestellten zusätzlichen Entschädigungssumme, nicht aber damit, dass es sich um eine Schlusszahlung handle. Die SGV löste hierauf eine "Teilzahlung" über Fr. 69'263.-- aus und am 24. Juni 2011 erfolgte die "Schlusszahlung" über Fr. 145'537.-- (entspricht 25% von Fr. 582'150.--).
B.d. In der Folge kam es zu zahlreichen Schreiben und Telefonaten zwischen den Verfahrensbeteiligten. So liess A._ am 16. Juni 2011 eine private Expertise in Auftrag geben, worauf die SGV am 7. Juli 2011 mitteilte, sie werde diese Expertise nicht anerkennen, da sie vorgängig nicht zum Expertisenauftrag angehört worden sei. Die SGV führte weiter aus, sie habe in der Angelegenheit eine Schlusszahlung vorgenommen und erachte die Angelegenheit als erledigt. Auf eine telefonische Anfrage bzw. ein weiteres Schreiben im Dezember 2011 hin wiederholte die SGV ihren Standpunkt (mit Schreiben vom 21. Dezember 2011 und E-Mail vom 4. Januar 2012).
Mit Schreiben vom 3. Mai 2012 machte A._ - gestützt auf die Expertise der Architekten C._ und D._ - gegenüber der SGV einen Gesamtschaden von Fr. 739'000.-- (bzw. einen Restbetrag von Fr. 156'850.-- nach Abzug der bereits ausgerichteten Zahlungen) geltend und bat um qualifizierte Stellungnahme oder den Erlass einer beschwerdefähigen Verfügung. Sollte bis zum 30. Juni 2012 keine Schlussverfügung der SGV ergangen sein, werde beim Verwaltungsgericht eine Rechtsverweigerungsbeschwerde erhoben.
B.e. Am 3. September 2012 erhob A._ "Rechtsverweigerungsbeschwerde" an das Verwaltungsgericht des Kantons Solothurn. Er beantragte, es sei ihm für den erlittenen Brandschaden eine Restvergütung von Fr. 216'850.-- auszurichten, eventualiter sei ein gerichtliches Gutachten zur Festlegung des Neuwerts der Liegenschaft im Zeitpunkt des Brandes einzuholen. Die Vorinstanz beauftragte am 26. März 2013 den Sachverständigen B._ mit dem Erstellen einer Expertise. Die Expertise vom 30. August 2013 kam zum Schluss, dass die gesamte Schadenssumme, welche die SGV zu übernehmen habe, Fr. 632'410.-- betrage. Mit Urteil vom 5. Juni 2014 wies das Verwaltungsgericht die Beschwerde ab, soweit es darauf eintrat.
C.
Mit Eingabe vom 10. Juli 2014 führt A._ Beschwerde beim Bundesgericht. Er beantragt, das Urteil des Verwaltungsgerichts des Kantons Solothurn vom 5. Juni 2014 aufzuheben und die Vorinstanz anzuweisen, die Angelegenheit materiell zu beurteilen. Das Gerichtsgutachten B._ sei "wegen Mangelhaftigkeit und Anschein der Befangenheit" aus dem Recht zu weisen. Eventuell sei das Urteil aufzuheben, und die Rechtsverweigerung durch die SGV zu bestätigen und diese anzuweisen, eine anfechtbare Verfügung zu erlassen.
Das Verwaltungsgericht des Kantons Solothurn beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Die SGV schliesst auf Abweisung der Beschwerde.

Erwägungen:
1.
1.1. Angefochten ist ein letztinstanzlicher kantonaler Endentscheid über eine Angelegenheit des öffentlichen Rechts, welche unter keinen der in <ref-law> genannten Ausschlussgründe fällt, weshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Der Beschwerdeführer ist zur Beschwerde legitimiert (<ref-law>). Die Beschwerdeanträge sind zulässig, da der angefochtene Entscheid eine Rechtsverweigerung durch die SGV verneint hat. Eine Gutheissung der vorliegenden Beschwerde könnte aber von Vornherein nur eine Rückweisung zur materiellen Beurteilung zur Folge haben. Soweit sich der Beschwerdeführer inhaltlich gegen den angefochtenen Entscheid wendet, sprengt dies den Streitgegenstand (vgl. Urteil 2C_258/2013 vom 13. September 2013 E. 1.1 mit Hinweis auf <ref-ruling> E. 5 S. 174) und kann auf die Beschwerde nicht eingetreten werden. Insbesondere gilt dies für den Antrag, das Gerichtsgutachten B._ sei aus dem Recht zu weisen (vgl. E. 2.5 hiernach).
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht kann die Verletzung von Bundesrecht und Völkerrecht gerügt werden (<ref-law>). Die Verletzung kantonalen Rechts ist hingegen vor Bundesgericht - abgesehen von den Fällen gemäss Art. 95 lit. c-e BGG - kein selbstständiger Rügegrund, sondern kann nur daraufhin überprüft werden, ob damit Bundesrecht verletzt wird, wozu namentlich auch eine willkürliche Anwendung kantonalen Rechts gehört (<ref-ruling> E. 2 S. 149; <ref-ruling> E. 2.4 S. 249).
Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (<ref-law>); dies setzt aber voraus, dass auf die Beschwerde überhaupt eingetreten werden kann, diese also wenigstens die minimalen Begründungsanforderungen von <ref-law> erfüllt. Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung) geltend gemacht wird. Dies prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 1.4.3 S. 255). Pauschale Verweisungen auf Rechtsschriften in den vorangehenden Verfahren genügen diesen Begründungsanforderungen nicht (<ref-ruling> E. 1.3 S. 306).
1.3. Soweit der Beschwerdeführer vorliegend die Anwendung des kantonalen Rechts kritisiert, sind der Beschwerdeschrift - in welcher darüber hinaus pauschale Verweisungen enthalten sind - kaum taugliche Rügen zu entnehmen. Es kann allerdings dahingestellt bleiben, inwieweit der Beschwerdeführer die eben genannten Begründungsanforderungen erfüllt, da seine Beschwerde ohnehin abzuweisen ist.
2.
2.1. Die Vorinstanz hatte im angefochtenen Entscheid in erster Linie die Frage zu prüfen, ob in Bezug auf das Verhalten der SGV eine Rechtsverweigerung bzw. Rechtsverzögerung vorliegt. Dazu hat die Vorinstanz - mit Bezugnahme auf §§ 19 ff. und 28 des Verwaltungsrechtspflegegesetzes [des Kantons Solothurn] vom 15. November 1970 (VRG/SO; BGS 124.11) bzw. § 34 des Gebäudeversicherungsgesetzes [des Kantons Solothurn] vom 24. September 1972 (GVG/SO; BGS 618.11) - festgestellt, die erste Verfügung der SGV sei am 15. Oktober 2009 ergangen und in Rechtskraft erwachsen. In der Folge habe die SGV - durch das Eingehen auf das Anliegen des Beschwerdeführers - ihre ursprüngliche Verfügung in Wiedererwägung gezogen und am 4. März 2011 wiedererwägungsweise über die nun anerkannte Schadensleistung entschieden. Es habe zwar an einer Rechtsmittelbelehrung gefehlt. Für den anwaltlich vertretenen Beschwerdeführer müsse aber aufgrund des später ergangenen Schriftenwechsels klar gewesen sein, dass eine abschliessende Verfügung vorliege. Die als "Rechtsverweigerungsbeschwerde" bezeichnete Beschwerde vom 3. September 2012 an das Verwaltungsgericht sei deshalb verspätet gewesen (vgl. angefochtener Entscheid E. 2.2 und 2.3).
2.2. Jede Person hat in Verfahren vor Gerichts- und Verwaltungsinstanzen Anspruch auf Beurteilung innert angemessener Frist (<ref-law>; <ref-ruling> E. 2.4 S. 314 f.; <ref-ruling> E. 2.2 S. 177 f.). Eine Rechtsverweigerung ist gegeben, wenn eine Behörde es ausdrücklich ablehnt, eine Entscheidung zu treffen, obwohl sie dazu verpflichtet ist (<ref-ruling> E. 4 S. 133; <ref-ruling> E. 3b S. 164). Um eine Rechtsverzögerung handelt es sich dagegen, wenn sich die zuständige Behörde zwar bereit zeigt, einen Entscheid zu treffen, diesen aber nicht binnen der Frist fällt, welche nach der Natur der Sache und nach der Gesamtheit der übrigen Umstände als angemessen erscheint. Keine Rolle spielt, auf welche Gründe - beispielsweise auf ein Fehlverhalten der Behörde oder auf andere Umstände - die Rechtsverzögerung zurückzuführen ist; entscheidend ist ausschliesslich, dass die Behörde nicht fristgerecht handelt (Urteile 2C_442/2011 vom 7. Juli 2011 E. 3.1; 8C_1012/2010 vom 31. März 2011 E. 3.1).
2.3. Die Vorinstanz hat hier weder das Gebot eines fairen Verfahrens bzw. den Grundsatz des rechtlichen Gehörs verletzt noch den Sachverhalt willkürlich festgestellt, indem es eine Rechtsverweigerung durch die SGV verneint hat.
2.3.1. Gemäss einem aus dem Prinzip von Treu und Glauben (Art. 5 Abs. 3, Art. 9 BV) fliessenden Grundsatz des öffentlichen Prozessrechts darf dem Adressaten eines Entscheides aus einer falschen Rechtsmittelbelehrung kein Nachteil erwachsen (<ref-ruling> E. 3.3 S. 134). Wann er sich auf eine ungenaue oder gar fehlende Rechtsmittelbelehrung verlassen darf, hängt von den konkreten Umständen und von seinen Rechtskenntnissen ab. Ist er rechtsunkundig und auch nicht rechtskundig vertreten, so darf er nicht wie eine anwaltlich vertretene Partei behandelt werden, es sei denn, er verfüge namentlich aus früheren Verfahren über einschlägige Erfahrungen. Zudem darf sich auch ein Anwalt mit einer Grobkontrolle anhand des Gesetzestextes begnügen und muss nicht zusätzlich Lehre und Rechtsprechung berücksichtigen (<ref-ruling> E. 8.3.2 S. 53 f.; <ref-ruling> E. 1.2.2.2 S. 376 f.; <ref-ruling> E. 3.3 S. 134). Ist unsicher, ob einem Schreiben Verfügungscharakter beigemessen werden kann, hat die rechtsuchende Partei innert angemessener Frist eine anfechtbare Verfügung zu verlangen oder sich zumindest nach der Bedeutung des Schreibens zu erkundigen (Kölz/Häner/Bertschi, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 3. Aufl. 2013, N. 888)
2.3.2. Die beiden Schreiben der SGV vom 15. Oktober 2009 bzw. 4. März 2011 sind formell - abgesehen von der fehlenden Rechtsmittelbelehrung - genau gleich aufgebaut. Wie die Vorinstanz zu Recht ausführt, ist es zwar nachvollziehbar, dass der Beschwerdeführer als juristischer Laie den Verfügungscharakter des Schreibens vom 4. März 2011 nicht erkannte. Ab dem 14. März 2011 war der Beschwerdeführer aber anwaltlich vertreten und ab diesem Datum gilt ein anderer Massstab. Zwar kann das Schreiben vom 4. März 2011 isoliert betrachtet noch nicht als abschliessende Verfügung angesehen werden. Dies insbesondere darum, weil am Schluss des Schreibens eine Frist zum Gegenbericht gesetzt wird. Innert dieser Frist hat der Beschwerdeführer denn auch am 24. März 2011 eine kurze Stellungnahme abgegeben. Aufgrund des darauf folgenden intensiven Schriftenwechsels musste dem nun vertretenen Beschwerdeführer aber klar geworden sein, dass die SGV aus ihrer Sicht abschliessend verfügt und entsprechend eine "Schlusszahlung" überwiesen hatte. Wie die Vorinstanz zu Recht ausgeführt hat, hätte er spätestens nach Zugang des Schreibens vom 7. Juli 2011 reagieren müssen, mit welchem die SGV nochmals klarstellte, dass für sie die Angelegenheit mit der Schlusszahlung vom 24. Juni 2011 definitiv abgeschlossen war. Indem der Beschwerdeführer bis zum Dezember 2011 nichts mehr von sich hören liess, hat er somit nicht innert angemessener Frist gehandelt.
Aus den in der Beschwerde erwähnten Telefongesprächen mit Vertretern der SGV kann der Beschwerdeführer sodann nichts zu seinen Gunsten ableiten, da diese im März 2011 und damit vor dem Schreiben der SGV vom 7. Juli 2011 erfolgten.
2.3.3. Auch der Vorwurf der "eklatanten" Verletzung des Anspruchs auf ein faires Verfahren nach <ref-law> zielt ins Leere: Der Brief des Beschwerdeführers vom 24. März 2011, wonach sich dieser mit einem Fallabschluss nicht einverstanden erklärte, musste von der SGV nicht als "vorsorgliche Einsprache" verstanden werden. Wenn der damals bereits anwaltlich vertretene Beschwerdeführer eine vorsorgliche Einsprache hätte erheben wollen, wäre ihm zuzumuten gewesen, sein Schreiben als eine solche zu bezeichnen.
2.4. Soweit der Beschwerdeführer sodann der Vorinstanz widersprüchliches Verhalten ("venire contra factum proprium") und damit eine Verletzung von Art. 9 und 29 Abs. 1 BV vorwirft, kann ihm ebenfalls nicht gefolgt werden. Zwar ist es unklar, warum die Vorinstanz ein Gutachten in Auftrag gegeben hat, auf welches sie in der Folge materiell gar nicht eingegangen ist (vgl. dazu die Vernehmlassung der Vorinstanz vom 7. August 2014 S. 2: "Es ist richtig, dass sich nachträglich herausgestellt hat, dass das Einholen eines gerichtlichen Gutachtens gar nicht unbedingt notwendig gewesen wäre."). Wenn der Beschwerdeführer daraus aber eine "implizite Gutheissung" der Rechtsverweigerungsbeschwerde konstruieren will, schiesst er damit über das Ziel hinaus. Eine Bundesrechtsverletzung durch die Vorinstanz ist hier auf jeden Fall nicht ersichtlich.
2.5. Soweit schliesslich in Bezug auf das gerichtliche Gutachten eine willkürliche Beweiswürdigung gerügt wird, ist darauf nicht weiter einzugehen. Die diesbezügliche Erwägung 5 der Vorinstanz ist nur eine Eventualbegründung. Beschwerdegegenstand vor dem Bundesgericht ist jedoch nur die Frage der Rechtsverweigerung bzw. Rechtsverzögerung (vgl. E. 1.1 hiervor).
3.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten erweist sich damit als unbegründet und ist abzuweisen, soweit darauf eingetreten wird. Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (Art. 65 f. BGG). Parteientschädigungen sind nicht geschuldet (Art. 68 Abs. 1 und 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 6'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 19. März 2015
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger