Sachverhalt:
A.
Das Verwaltungsgericht des Kantons Solothurn hat am 8. August 2019 eine Beschwerde von A._ gegen die Umgestaltung des Innenhofs des Hotels D._ in Solothurn abgewiesen, soweit es darauf eingetreten ist. Dieser hatte namentlich geltend gemacht, die vorgesehene Nutzung würde zu einer Überschreitung der Lärmgrenzwerte bei seiner benachbarten Liegenschaft führen. Zur Unterstützung seiner Auffassung hatte er vor dem Verwaltungsgericht ein privat in Auftrag gegebenes Gutachten eingereicht.
B.
Das Bundesgericht hat die von A._ gegen das Urteil des Verwaltungsgerichts eingereichte Beschwerde am 21. Oktober 2020 gutgeheissen und die Sache an die Stadt Solothurn zur Abklärung der Lärmsituation gemäss <ref-law> zurückgewiesen. In seiner Urteilsbegründung hat es auf das private Lärmgutachten Bezug genommen. Die Kosten des bundesgerichtlichen Verfahrens auferlegte es den Beschwerdegegnerinnen (Baurechtsinhaberin bzw. Betreiberin) und sprach dem nicht anwaltlich vertretenen Beschwerdeführer keine Parteientschädigung zu.
C.
In der Folge ist A._ an das Verwaltungsgericht gelangt und hat eine Anpassung des verwaltungsgerichtlichen Urteils vom 8. August 2019 im Kosten- und im Entschädigungspunkt beantragt; die Verfahrenskosten seien aufgrund des Urteils des Bundesgerichts den Beschwerdegegnerinnen aufzuerlegen und ihm sei eine Parteientschädigung auszurichten, inklusive der Kosten für das private Gutachten.
Mit Urteil vom 19. April 2021 hat das Verwaltungsgericht den beiden Beschwerdegegnerinnen die Kosten des ersten Verfahrens auferlegt. Dagegen hat es dem Beschwerdeführer keine Parteientschädigung zugesprochen. Insbesondere hat es die Kosten des Privatgutachtens als nicht notwendig und daher nicht entschädigungspflichtig erachtet.
D.
Gegen diesen Entscheid führt A._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt, das Urteil des Verwaltungsgerichts vom 19. April 2021 sei teilweise aufzuheben und dahingehend zu ergänzen, dass die Beschwerdegegnerinnen zu verpflichten seien, ihm zusätzlich seine Auslagen für das Lärmgutachten vom 13. April 2018 in der Höhe von Fr. 17'038.90 zu ersetzen.
Das Verwaltungsgericht und die Beschwerdegegnerinnen beantragen, die Beschwerde sei abzuweisen bzw. abzuweisen, soweit darauf einzutreten sei. Die Stadt Solothurn hat sich nicht vernehmen lassen.

Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Entscheid einer Vorinstanz im Sinne von <ref-law> über eine Parteientschädigung in einem bau- bzw. umweltrechtlichen Verfahren. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten grundsätzlich offen (Art. 82 lit. a, Art. 90 BGG). Ein Ausschlussgrund nach <ref-law> liegt nicht vor. Der Beschwerdeführer ist mit seinem Entschädigungsanspruch vor der Vorinstanz unterlegen und damit zur Beschwerde legitimiert (<ref-law>). Da auch die weiteren Sachurteilsvoraussetzungen gegeben sind, ist auf die Beschwerde einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann geltend gemacht werden, der angefochtene Entscheid verletze Bundes- oder Völkerrecht (Art. 95 lit. a und b BGG). Die Rüge der Verletzung kantonalen Rechts ist - abgesehen von hier nicht einschlägigen Ausnahmen (Art. 95 lit. c und d BGG) - nicht zulässig. Jedoch kann geltend gemacht werden, die Anwendung kantonalen Rechts widerspreche dem Bundesrecht, namentlich dem Willkürverbot gemäss <ref-law> (<ref-ruling> E. 2.1 mit Hinweis). Es gelten hierfür qualifizierte Begründungsanforderungen (<ref-law>; <ref-ruling> E. 2).
2.
2.1. Die Vorinstanz hatte die Kosten des ersten Beschwerdeverfahrens, das zu ihrem Urteil vom 8. August 2019 geführt hat, nach Massgabe von § 76bis des Gesetzes über den Rechtsschutz in Verwaltungssachen des Kantons Solothurn vom 15. November 1970 (VRG/SO; BGS 124.11) zu verlegen. Dies ist zwischen den Beteiligten nicht streitig. Die genannte Bestimmung definiert in Abs. 1 zunächst den Begriff der Prozesskosten. Diese setzen sich demnach aus den Gerichtskosten und der Parteientschädigung zusammen. Nach Abs. 3 von § 76bis VRG/SO gilt als Parteientschädigung neben den Kosten einer berufsmässigen anwaltlichen Vertretung (lit. b) auch der Ersatz notwendiger Auslagen (lit. a). Was darunter zu verstehen ist, präzisiert das VRG/ SO nicht näher.
2.2. Die Vorinstanz hat befunden, aufgrund des Untersuchungsgrundsatzes könnten die Kosten für das Privatgutachten vom 13. April 2018 nicht als notwendige Auslagen im Sinne von § 76bis Abs. 3 VRG/SO gelten, weshalb kein Ersatzanspruch des Beschwerdeführers bestehe. Dieser erblickt in einer solchen Betrachtungsweise Willkür. Die Vorinstanz setze sich über den klaren Wortlaut von § 76bis Abs. 3 lit. a VRG/SO hinweg und ignoriere die bundesgerichtliche Rechtsprechung. Die Baubehörde der Stadt Solothurn sei ihrer Pflicht zur Abklärung der Lärmsituation nicht nachgekommen. Es gehe nicht an, zunächst den Untersuchungsgrundsatz zu missachten und die gebotenen lärmrechtlichen Abklärungen nicht vorzunehmen und dann unter Berufung auf ebendiesen Grundsatz die Entschädigung für die privat vorgenommenen Abklärungen zu verweigern. Das Bundesgericht habe in seinem ersten Urteil auch festgehalten, dem von ihm eingereichten Lärmgutachten komme Bedeutung zu. Als Fachfremder in der Akustik sei er darauf angewiesen gewesen, eine Fachperson beizuziehen.
Die Beschwerdegegnerinnen sind der Auffassung, das Lärmgutachten sei letztlich nicht entscheidrelevant und damit nicht notwendig gewesen. Das Bundesgericht habe die Solothurner Baukommission denn auch angewiesen, ein amtliches Lärmgutachten zu erstellen. Der Beschwerdeführer hätte sich damit begnügen können und müssen, vor Bundesgericht eine unvollständige Sachverhaltsfeststellung zu rügen. Das Privatgutachten sei im Übrigen mit Blick auf Vergleichsverhandlungen erstellt worden, die zwischen dem Beschwerdeführer und ihnen während der Hängigkeit des Verfahrens vor der Vorinstanz geführt worden seien. Damals habe dieser noch gar nicht wissen können, ob das Verwaltungsgericht seinen Beweisantrag gutheissen würde.
3.
3.1. Eine willkürliche Anwendung kantonalen Rechts liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch dessen Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar als zutreffender erscheinen mag, genügt nicht (<ref-ruling> E. 2.2; <ref-ruling> E. 5.1; Urteil 9C_625/2020 vom 10. September 2021 E. 3.2; je mit Hinweisen).
3.2. Soweit der Beschwerdeführer geltend macht, die Vorinstanz setze sich über den klaren Wortlaut von § 76bis Abs. 3 lit. a VRG/SO hinweg, trifft dies offensichtlich nicht zu. Die genannte Bestimmung hält lediglich fest, dass der Ersatz notwendiger Auslagen Teil der Parteientschädigung bildet (die grundsätzlich der unterliegenden Partei aufzuerlegen sind, was sich aus dem Verweis von § 77 VRG/SO auf die <ref-law> ergibt). Was unter dem Begriff der "notwendigen Auslagen" zu verstehen ist, definiert § 76bis VRG/SO nicht und der Beschwerdeführer macht nicht geltend, dies ergebe sich aus einer anderen Norm des kantonalen Rechts. Er beruft sich auch nicht auf eine gefestigte Rechtsprechung des Solothurner Verwaltungsgerichts, nach welcher die Kosten für privat erstellte Gutachten in Situationen wie der vorliegenden in Anwendung von § 76bis Abs. 3 lit. a VRG/SO zwingend der Gegenpartei auferlegt werden müssten.
3.3. Der Beschwerdeführer ist weiterhin der Auffassung, mit der Verweigerung des Ersatzes seiner Gutachterkosten habe die Vorinstanz in unhaltbarer Weise gegen den Untersuchungsgrundsatz verstossen. Ihr Entscheid sei damit willkürlich (<ref-law>) und verletze die Pflicht zum Handeln nach Treu und Glauben nach Art. 5 Abs. 2 der Verfassung des Kantons Solothurn vom 8. Juni 1986 (BSG 131.221). Dabei zeigt er allerdings nicht auf, inwiefern sich für ihn aus der letztgenannten Bestimmung ein weitergehender Rechtsschutz ergeben sollte als aus dem Willkürverbot der Bundesverfassung.
Auf Bundesebene findet sich keine allgemeingültige Regelung, inwiefern und inwieweit die Kosten für ein Gutachten, das im Rahmen eines öffentlich-rechtlichen Beschwerdeverfahrens von einer Partei ins Verfahren eingebracht wurde, als Parteikosten zu entschädigen sind. Im Bereich des Sozialversicherungsrechts sind gemäss <ref-law> die notwendigen Kosten privat eingeholter Berichte bzw. Gutachten unter dem Titel Parteientschädigung zu vergüten, soweit diese für die Entscheidfindung unerlässlich waren (vgl. <ref-ruling> E. 5c; Urteile 8C_19/2021 vom 27. April 2021 E. 8; 9C_113/2019 vom 29. August 2019 E. 6.2 und 8C_512/2018 vom 30. Oktober 2018 E. 6). Ähnlich hat das Bundesgericht auch schon ausserhalb des Sozialversicherungsrechts entschieden (vgl. etwa E. 10 des Urteils 1C_526/ 2015 vom 12. Oktober 2016, nicht publiziert in <ref-ruling>; Urteil 2A.191/2005 vom 2. September 2005 E. 5.2 mit Hinweisen).
Nach der Lehre handelt es sich bei den Auslagen für ein Privatgutachten in der Regel nicht um notwendige und damit entschädigungspflichtige Kosten. Anders soll es sich nur dann verhalten, wenn die Expertise wesentliche neue Erkenntnisse gebracht und zu einer grundlegenden Änderung der bisherigen Betrachtungsweise geführt hat oder wenn sich wegen ihm ein neutrales Gutachten erübrigt hat (Ruth Herzog in: Herzog/Daum [Hrsg.], Kommentar zum VRPG, 2. Aufl. 2020, Art. 104 N. 23) bzw. wenn sie wesentliche neue Erkenntnisse ermöglicht, eine nützliche Entscheidgrundlage darstellt oder ein neutrales Gutachten entbehrlich macht (Kaspar Plüss in: Alain Griffel [Hrsg.], Kommentar VRG, 3. Aufl. 2014, § 17 N. 77) bzw. wenn sie entscheidend zur Klärung des Sachverhalts beigetragen hat und sich zur Interessenwahrung aufgedrängt hat (Hansjörg Seiler in: Seiler/von Werdt/Güngerich/Oberholzer, Bundesgerichtsgesetz, 2. Aufl. 2015, Art. 68 N. 21).
3.4. Im Verfahren, das zum ersten Urteil des Verwaltungsgerichts geführt hat (zum Urteil vom 8. August 2019) lag keine der oben umschriebenen Konstellationen vor, die nach der Rechtsprechung oder der Lehre zwingend zu einem Ersatz der Kosten führen müsste, die eine Prozesspartei für die Erstellung eines Parteigutachtens aufgewendet hat. Das Bundesgericht hat in seinem Urteil vom 21. Oktober 2020 festgehalten, das Parteigutachten gehe teilweise von ungenauen bzw. falschen Angaben aus. Es hat ihm nur insofern Bedeutung zugesprochen, als es zusammen mit weiteren Elementen zur Vermutung führte, die Belastungsgrenzwerte könnten überschritten sein, weshalb die Solothurner Behörden gehalten gewesen wären, vor dem Erteilen der Baubewilligung von Amtes wegen eine Lärmprognose zu erstellen. Das Bundesgericht hat materiell somit nicht auf das Parteigutachten abgestellt, sondern die Sache vielmehr an die Stadt Solothurn zurückgewiesen, um eine amtliche Lärmexpertise einzuholen. Das Parteigutachten hat zwar die Zweifel an der Rechtmässigkeit des angefochtenen Entscheids verstärkt, aber weder entscheidend zur Entscheidfindung beigetragen noch ein neutrales Gutachten überflüssig gemacht. Angesichts des Ermessensspielraums, den das Bundesgericht den Vorinstanzen bei der Festlegung der Kosten und Entschädigungen gewährt (Urteile 1C_485/2017 vom 23. April 2019 E. 10.4, nicht publiziert in <ref-ruling>; 2C_343/2010 vom 11. April 2011 E. 8.3.5, nicht publiziert in <ref-ruling>) war die Vorinstanz somit unter Willkürgesichtspunkten nicht verpflichtet, dem Beschwerdeführer die Kosten für das von ihm eingereichte Gutachten zu ersetzen. Damit erweist sich die Beschwerde als unbegründet.
Bei diesem Ergebnis muss auf den Einwand der Beschwerdegegnerinnen nicht weiter eingegangen zu werden, das Gutachten sei in Wirklichkeit nicht für das Gerichtsverfahren erstellt worden, sondern für die Vergleichsverhandlungen des Beschwerdeführers mit ihnen, und dieser hätte sich damit begnügen können, eine unvollständige Ermittlung des Sachverhalts zu rügen. Ebenso offen bleiben kann die Frage, ob der Beschwerdeführer seinen Anspruch nicht bereits im ersten bundesgerichtlichen Verfahren hätte geltend machen müssen.
4.
Nach dem Gesagten ist die Beschwerde abzuweisen. Bei diesem Ausgang trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Er hat den Beschwerdegegnerinnen je eine angemessene Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- für das bundesgerichtliche Verfahren werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den beiden Beschwerdegegnerinnen für das bundesgerichtliche Verfahren eine Parteientschädigung von je Fr. 2'000.-- zu bezahlen.
4.
Dieses Urteil wird den Parteien, der Baukommission der Stadt Solothurn und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 25. Januar 2022
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Die Gerichtsschreiberin: Hänni