Sachverhalt: A. Die D._ AG bezweckt die Herstellung und den Vertrieb von Frischbeton sowie von Beton-Fertigteilen. Am 16. November 2007 reichte sie ein Baugesuch für den Neubau einer Betonzentrale sowie für eine Stützmauer und ein Rückhaltebecken ein. Die Bauten sollen in der Gemeinde Düdingen auf den Grundstücken Nr. 4728 und Nr. 4729 erstellt werden. Zugleich stellte die D._ AG zwei Ausnahmegesuche für die Erstellung von vier Bindemittelsilos und einer neuen Zufahrt. Das Baubewilligungs- und die Ausnahmegesuche wurden am 23. November 2007 öffentlich aufgelegt. Gegen die Begehren gingen mehrere Einsprachen ein. Am 27. August 2008 erteilte die Raumplanungs-, Umwelt- und Baudirektion des Kantons Freiburg (RUBD) das Einverständnis zur Bewilligung der ersuchten Ausnahmen (Silos und Zufahrt) durch die Gemeinde Düdingen. Mit Verfügung vom 9. September 2008 genehmigte der Gemeinderat von Düdingen in der Folge die Ausnahmegesuche. Gegen diesen Entscheid erhoben mehrere Einsprecher am 15. Oktober 2008 Beschwerde beim Oberamtmann des Sensebezirks, welcher diese am 28. Oktober 2008 guthiess, die Verfügung vom 9. September 2008 aufhob und die Sache zum neuen Entscheid an den Gemeinderat zurückwies. Der Gemeinderat erteilte am 25. November 2008 (erneut) die Ausnahmebewilligungen. Dagegen wurde am 14. Januar 2009 (wiederum) Beschwerde beim Oberamtmann erhoben. Mit Verfügungen vom 30. April 2009 gewährte dieser die Bau- und Ausnahmebewilligungen und wies die Einsprachen ab, soweit er darauf eintrat. Einen Teil der Einsprachegründe verwies er an den Zivilrichter. Die von mehreren Einsprechern gegen diese Verfügungen am 2. Juni 2009 eingereichte Verwaltungsgerichtsbeschwerde wies das Kantonsgericht des Kantons Freiburg mit Urteil vom 11. März 2010 ab, soweit es darauf eintrat. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 27. April 2010 beantragen die Einsprecher A._, Eheleute B._ sowie Eheleute C._, das Urteil des Kantonsgerichts sei aufzuheben, und die Sache sei zur Neubeurteilung an die Vorinstanz zurückzuweisen. Des Weiteren ersuchen sie, ihrer Beschwerde die aufschiebende Wirkung zuzuerkennen. Das Kantonsgericht stellt den Antrag auf Beschwerdeabweisung. Die Gemeinde Düdingen verzichtet auf eine Stellungnahme. Die D._ AG beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. C. Mit Verfügung vom 20. Mai 2010 hat der Präsident der I. öffentlich-rechtlichen Abteilung der Beschwerde die aufschiebende Wirkung zuerkannt.