Sachverhalt: A. Die Kinder A._ und B._ sowie E._ gehen in S._ in die Primarschule. Sie gehören der Christlich Palmarianischen Kirche der Karmeliter vom Heiligen Antlitz an, die sich als der allein verbliebene Teil der wahren katholischen Kirche versteht. Die Eltern von A._ und B._ sind ebenfalls Mitglied dieser Religionsgemeinschaft, ebenso G._, die als Grossmutter E._ erzieht. Nach längeren Auseinandersetzungen verfügte der Schulinspektor für den Kindergarten und die Primarschule Deutschfreiburg am 20. August 2009, dass die Ausbildung und Erziehung der oben genannten Kinder in der Schule S._ auf der Basis des Bildungsauftrags und der Ziele der Freiburger Schulgesetzgebung erfolge. Weiter bestätigte er die bereits in einer Standortbestimmung vom 12. November 2008 aufgestellten Rahmenbedingungen zum Schulunterricht. Daraus ergibt sich insbesondere, dass A._ und B._ sowie E._ vom Besuch religiöser Kultstätten, Kinos, Konzerten und anderer kultureller Veranstaltungen, von der Teilnahme an Schulausflügen und vom Singen religiöser, vorweihnächtlicher und österlicher Gesänge nicht dispensiert werden. Die dagegen ergriffenen kantonalen Rechtsmittel blieben ohne Erfolg. B. A._ und B._, C._ und D._ sowie E._ und G._ beantragen dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten, den in dieser Sache zuletzt ergangenen Entscheid des Kantonsgerichts Freiburg vom 7. Juli 2011 aufzuheben. Weiter seien A._ und B._ sowie E._ von religiösen, vorweihnächtlichen oder österlichen Gesängen oder Anlässen während oder ausserhalb des Schulunterrichts sowie von Ausflügen zu religiösen Orten wie Kapellen, Friedhöfen und dergleichen zu dispensieren. Bei religiösen Gesängen sei den Kindern von der Lehrperson Gelegenheit zu geben, das Schulzimmer zu verlassen. Während der Zeit der Dispensation seien den erwähnten Kindern Aufgaben im Zusammenhang mit dem allgemeinen Bildungsauftrag zu geben. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Das Schulinspektorat, die Direktion für Erziehung, Kultur und Sport des Staats Freiburg und das Kantonsgericht Freiburg stellen Antrag auf Abweisung der Beschwerde. Die Beschwerdeführer halten in ihrer Stellungnahme zu den Vernehmlassungen der kantonalen Instanzen an ihren Anträgen fest.