Sachverhalt: A. Die G._ AG (heute F._ AG in Nachlassliquidation) betrieb ab 1895 in Dornach eine Buntmetallgiesserei. Ab 1983 wurden diverse Bodenuntersuchungen im Umfeld des Werkareals durchgeführt, die aufzeigten, dass die Böden im umliegenden Gebiet mit den Schwermetallen Kupfer, Cadmium und Zink belastet sind. 2006 wurde eine Sanierungswertzone ausgeschieden, innerhalb welcher die altlastenrechtlichen Sanierungswerte für Kupfer und teilweise für Cadmium überschritten sind. Anfangs 2012 wurde ein Sanierungsprojekt ausgearbeitet, welches die Sanierungsmethoden und die geschätzten Kosten aufführt. Mit Verfügung vom 29. September 2014 stellte das Bau- und Justizdepartement des Kantons Solothurn (BJD/SO) fest, dass es sich bei der "Sanierungswertzone Dornach" um einen sanierungsbedürftigen belasteten Standort im Sinne des Altlastenrechts handelt. Es verfügte Sanierungsmassnahmen gemäss ausgearbeitetem Sanierungsprojekt. Weiter regelte es die prozentuale und betragsmässige Verteilung der zum Teil bereits aufgelaufenen, zum Teil erwarteten Sanierungskosten. Das BJD/SO qualifizierte die F._ AG in Nachlassliquidation als Verhaltensstörerin bzw. Verhaltensverursacherin und die Eigentümer der Grundstücke in der Sanierungswertzone Dornach als Zustandsstörer bzw. Zustandsverursacher. Die Grundeigentümer wurden je nach Kenntnisstand über die Bodenbelastung im Erwerbszeitpunkt in vier Kategorien (I - IV) mit je unterschiedlichem Kostenanteil zwischen 0 und 30 % eingeteilt. Der F._ AG in Nachlassliquidation wurden entsprechend je nach Grundstück Kostenanteile von 70 - 100 % auferlegt. Gegen diese Verfügung des BJD/SO vom 29. September 2014 erhoben unter anderem A._, B._, C._, D._ und E._ Beschwerde beim Verwaltungsgericht des Kantons Solothurn. Dieses wies die Beschwerden mit Urteil vom 31. August 2015 ab, soweit es darauf eintrat. B. Mit Eingabe vom 5. Oktober 2015 führen A._, B._, C._, D._ und E._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Sie beantragen die Aufhebung des vorinstanzlichen Urteils sowie der Verfügung des BJD/SO vom 29. September 2014 und ihre vollständige Befreiung von der Kostentragungspflicht. Eventualiter sei der Anteil von C._, D._ und E._ von 30 % auf 10 % zu reduzieren. Mit Verfügung vom 8. Dezember 2015 erkannte der Präsident der I. öffentlich-rechtlichen Abteilung der Beschwerde die aufschiebende Wirkung zu. Die Vorinstanz und das BJD/SO beantragen die Beschwerdeabweisung. Die F._ AG in Nachlassliquidation verzichtet auf eine Vernehmlassung. Das Bundesamt für Umwelt BAFU hat am 25. Januar 2016 eine Stellungnahme eingereicht, ohne ausdrücklich Anträge zu stellen. Im Ergebnis erachtet das BAFU das angefochtene Urteil als konform mit dem Bundesumweltrecht. Mit Eingabe vom 30. März 2016 halten die Beschwerdeführer an ihren Beschwerdeanträgen fest.