Sachverhalt: A. Zwischen 1973 und 2004 betrieb A._ auf dem Grundstück GB Grenchen Nr. 6826 eine chemische Reinigung. Das Grundstück gilt als belasteter Standort im Sinne von Art. 32c Abs. 1 USG und Art. 1 der Altlastenverordnung des Bundes (SR 814.680). Es ist im Kataster der belasteten Standorte eingetragen (Kataster Nr. 22.007.0191B). Mit Entscheid vom 15. Juli 2013 auferlegte das Bau- und Justizdepartement des Kantons Solothurn (BJD) die Kosten der Sanierung zu 70 % A._ und zu 30 % der Stadt Grenchen. Den Kostenanteil von A._ sollte nach dieser Verfügung der Kanton Solothurn im Sinne von Ausfallkosten tragen. Die gegen diesen Entscheid erhobene Beschwerde der Stadt Grenchen wies das kantonale Verwaltungsgericht mit Urteil vom 27. Januar 2014 ab. Dem damaligen Beschwerdegegner A._ sprach das Verwaltungsgericht eine Parteientschädigung von Fr. 500.-- zu (Dispositiv Ziff. 3). B. Mit Beschwerde an das Bundesgericht vom 26. Februar 2014 beantragt A._, Dispositiv Ziff. 3 des Urteils des Verwaltungsgerichts vom 27. Januar 2014 sei aufzuheben und dem Beschwerdeführer sei für das Verfahren vor dem Verwaltungsgericht eine angemessene Parteientschädigung zu gewähren. Zudem ersucht er um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren. Die Vorinstanz stellt den Antrag, die Beschwerde abzuweisen, soweit darauf eingetreten werden könne. Das kantonale Bau- und Justizdepartement und die Stadt Grenchen verzichten auf eine Stellungnahme zur Beschwerde. In einer weiteren Eingabe hält der Beschwerdeführer an seinen Rechtsbegehren fest.