Sachverhalt: A. Die Swisscom (Schweiz) AG stellte am 9. Oktober 2007 ein Baugesuch für den Neubau einer Mobilfunkanlage, bestehend aus einem - exklusive Blitzschutz - rund 25 m hohen Masten, bestückt mit drei Dualbandantennen für GSM 900 (zu ursprünglich 700 W, definitiv je 500 W) und für UMTS 2100 (zu je 1200 W), sowie einem Technikschrank. Der Standort der Mobilfunkanlage ist an der Kirchgasse in Derendingen, Parzelle Gbbl. Nr. 935. Gegen das am 8. November 2007 publizierte Baugesuch wurden 65 Einsprachen eingereicht, darunter auch jene von den Eheleuten A._, B._ sowie C._. Die Baukommission der Gemeinde Derendingen wies die Einsprachen am 5. Mai 2008 ab, soweit sie darauf eintrat, und erteilte der Swisscom (Schweiz) AG die Baubewilligung. Gegen diesen Entscheid wurden beim Bau- und Justizdepartement des Kantons Solothurn verschiedene Beschwerden erhoben mit den Anträgen, den angefochtenen Entscheid aufzuheben und die Baubewilligung für die Mobilfunkanlage zu verweigern. Das Bau- und Justizdepartement führte am 17. März 2009 einen Augenschein mit Parteiverhandlung durch. Gestützt auf die Ergebnisse des Augenscheins respektive der Parteiverhandlung erstellte die Swisscom (Schweiz) AG ein auf einer reduzierten Sendeleistung basierendes Standortdatenblatt der projektierten Anlage datiert vom 20. März 2009. Die beschwerdeführenden Personen nahmen dazu Stellung und beantragten weitere Nachprüfungen. Die Swisscom (Schweiz) AG reichte daraufhin ein überarbeitetes Standortdatenblatt datiert vom 2. Juli 2009 ein. Am 24. Februar 2010 nahm das Bau- und Justizdepartement im Beisein von Parteien- und Behördenvertretern vor Ort Abstandsmessungen vor. Mit Verfügung vom 23. März 2010 wies es die Beschwerden ab, soweit es auf diese eintrat. Es genehmigte die geplante Anlage und erklärte die technischen Daten gemäss dem Standortdatenblatt vom 2. Juli 2009 sowie die vom kantonalen Amt für Umwelt in seinem Beurteilungsbericht vom 29. Juli 2009 empfohlenen Auflagen für verbindlich. Diese Verfügung wurde unter anderem von den Eheleuten A._, B._ sowie C._ mit Beschwerde vom 14. April 2010 beim Verwaltungsgericht des Kantons Solothurn angefochten mit den Anträgen auf Aufhebung der Verfügung und Nichterteilung der Baubewilligung. Die Swisscom (Schweiz) AG legte im Laufe des Verfahrens nochmals ein neues Standortdatenblatt datiert vom 12. August 2010 vor, in welchem sie die nichtionisierende Strahlung (NIS) auf dem an die Standortparzelle angrenzenden Grundstück Gbbl. Nr. 828 dokumentierte. Am 24. August 2011 führte das Verwaltungsgericht einen Augenschein mit Befragung der Parteien sowie von Auskunftspersonen der kantonalen Denkmalpflege und der kantonalen Fachstelle Luftreinhaltung, Lärm und Elektrosmog durch. Mit Urteil vom 15. September 2011 wies das Verwaltungsgericht die Beschwerden ab, soweit es auf diese eintrat. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 21. Oktober 2011 beantragen die Eheleute A._, B._ sowie C._, das Urteil des Verwaltungsgerichts vom 15. September 2011 sei aufzuheben und die Baubewilligung sei zu verweigern. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanzen zurückzuweisen. Ferner ersuchen sie, ihrer Beschwerde die aufschiebende Wirkung zu erteilen. Diesem Antrag gab der Präsident der I. öffentlich-rechtlichen Abteilung mit Verfügung vom 23. November 2011 statt. Die Vorinstanz sowie das Bau- und Justizdepartement des Kantons Solothurn beantragen, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Die Swisscom (Schweiz) AG beantragt, auf die Beschwerde sei nicht einzutreten; eventualiter sei diese abzuweisen, soweit darauf einzutreten sei. Die Gemeinde Derendingen verzichtet auf eine Stellungnahme. D._ hat sich nicht vernehmen lassen. Das Bundesamt für Umwelt und das Bundesamt für Raumentwicklung haben Vernehmlassungen eingereicht, ohne ausdrücklich Anträge zu stellen. In ihrer Stellungnahme vom 27. April 2012 halten die Beschwerdeführer an ihrem Standpunkt fest.