Sachverhalt:
A. Die Kinder A._ und B._ sowie E._ gehen in S._ in die Primarschule. Sie gehören der Christlich Palmarianischen Kirche der Karmeliter vom Heiligen Antlitz an, die sich als der allein verbliebene Teil der wahren katholischen Kirche versteht. Die Eltern von A._ und B._ sind ebenfalls Mitglied dieser Religionsgemeinschaft, ebenso G._, die als Grossmutter E._ erzieht. Nach längeren Auseinandersetzungen verfügte der Schulinspektor für den Kindergarten und die Primarschule Deutschfreiburg am 20. August 2009, dass die Ausbildung und Erziehung der oben genannten Kinder in der Schule S._ auf der Basis des Bildungsauftrags und der Ziele der Freiburger Schulgesetzgebung erfolge. Weiter bestätigte er die bereits in einer Standortbestimmung vom 12. November 2008 aufgestellten Rahmenbedingungen zum Schulunterricht. Daraus ergibt sich insbesondere, dass A._ und B._ sowie E._ vom Besuch religiöser Kultstätten, Kinos, Konzerten und anderer kultureller Veranstaltungen, von der Teilnahme an Schulausflügen und vom Singen religiöser, vorweihnächtlicher und österlicher Gesänge nicht dispensiert werden. Die dagegen ergriffenen kantonalen Rechtsmittel blieben ohne Erfolg.
B. A._ und B._, C._ und D._ sowie E._ und G._ beantragen dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten, den in dieser Sache zuletzt ergangenen Entscheid des Kantonsgerichts Freiburg vom 7. Juli 2011 aufzuheben. Weiter seien A._ und B._ sowie E._ von religiösen, vorweihnächtlichen oder österlichen Gesängen oder Anlässen während oder ausserhalb des Schulunterrichts sowie von Ausflügen zu religiösen Orten wie Kapellen, Friedhöfen und dergleichen zu dispensieren. Bei religiösen Gesängen sei den Kindern von der Lehrperson Gelegenheit zu geben, das Schulzimmer zu verlassen. Während der Zeit der Dispensation seien den erwähnten Kindern Aufgaben im Zusammenhang mit dem allgemeinen Bildungsauftrag zu geben. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Das Schulinspektorat, die Direktion für Erziehung, Kultur und Sport des Staats Freiburg und das Kantonsgericht Freiburg stellen Antrag auf Abweisung der Beschwerde.
Die Beschwerdeführer halten in ihrer Stellungnahme zu den Vernehmlassungen der kantonalen Instanzen an ihren Anträgen fest.

Erwägungen:
1. 1.1 Der angefochtene, kantonal letztinstanzliche Entscheid der Vorinstanz kann mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht angefochten werden (Art. 82 lit. a, Art. 86 Abs. 1 lit. d BGG).
1.2 Die Vorinstanz hat im Zwischenentscheid vom 29. Oktober 2010 offen gelassen, ob G._ die Beschwerdelegitimation zukomme. Diese kümmere sich zwar als Grossmutter um die Erziehung von E._, doch stehe die elterliche Sorge weiterhin seiner Mutter F._ zu. Es erübrigt sich auch im bundesgerichtlichen Verfahren, die Legitimation von G._ näher zu prüfen. Denn es sind jedenfalls die übrigen Beschwerdeführer befugt, den vorinstanzlichen Entscheid beim Bundesgericht anzufechten.
1.3 Die Beschwerdeführer reichen einen neuen Auszug aus dem Palmarianischen Katechismus ein, der das Betreten jeglicher religiöser Stätten verbietet, die nicht für den palmarianischen Gottesdienst bestimmt sind. Es handelt sich um ein neues Beweismittel, zu dessen Vorlage offensichtlich der angefochtene Entscheid Anlass gegeben hat. Ob es nach <ref-law> zulässig ist, erscheint fraglich, da es bereits bei der Vorinstanz hätte eingereicht werden können. Wie es sich damit verhält, kann ebenfalls offen bleiben, da dem Schriftstück keine ausschlaggebende Bedeutung zukommt (vgl. E. 3.3).
2. 2.1 Streitgegenstand bildet die Frage, ob für die drei Kinder palmarianischen Glaubens gestützt auf die Glaubens- und Gewissensfreiheit (<ref-law> und Art. 9 EMRK) in der Primarschule eine Dispensation von religiösen Gesängen und Anlässen sowie von Ausflügen zu religiösen Kultstätten verlangt werden kann.
2.2 Die Vorinstanz verneint dies. Sie verweist darauf, dass der Gesang Teil des Musikunterrichts bilde und dieser zum obligatorischen Schulunterricht gehöre. Auch christliche Lieder zählten zu dem zu vermittelnden Kulturgut. Weiter erstrecke sich der obligatorische Unterricht ebenfalls auf Schulausflüge. Es handle sich dabei um eine andere Unterrichtsform, die vom Erziehungsauftrag der Schule mitumfasst werde. Nach Auffassung der Vorinstanz ist nicht klar ersichtlich, inwiefern das Singen christlicher Lieder und das Aufsuchen religiöser Kultstätten gegen Verhaltensregeln des palmarianischen Glaubens verstosse und damit die Glaubens- und Gewissensfreiheit der Kinder bzw. ihrer Eltern verletze. Auf jeden Fall könne der Erziehungsauftrag der öffentlichen Schule den Vorrang vor der Einhaltung der Glaubensregeln beanspruchen.
2.3 Die Beschwerdeführer machen demgegenüber geltend, ihr Glauben untersage ihnen das Singen christlicher Lieder und das Aufsuchen religiöser Kultstätten anderer Glaubensrichtungen, weshalb die Schulpflicht in diesem Umfang ihre Glaubens- und Gewissensfreiheit beeinträchtige. Sie stellen zwar nicht in Frage, dass für diesen Grundrechtseingriff in der Freiburger Schulgesetzgebung eine genügende gesetzliche Grundlage besteht (vgl. Art. 4 und 21 ff. des Freiburger Schulgesetzes vom 23. Mai 1985 mit Verweis auf die Lehrpläne in Art. 26 sowie mit Bezug auf die Ausflüge Art. 31 des Ausführungsreglements vom 16. Dezember 1986 zum Schulgesetz). Hingegen rügen sie, dass die angefochtenen Anordnungen nicht durch ein genügendes öffentliches Interesse gerechtfertigt und deshalb unverhältnismässig seien.
3. 3.1 Nach <ref-law> darf niemand gezwungen werden, eine religiöse Handlung vorzunehmen oder religiösem Unterricht zu folgen. Die Vorinstanz erklärt unter Hinweis auf eine Lehrmeinung (HERBERT PLOTKE, Schweizerisches Schulrecht, 2. Aufl. 2003, S. 204), dass das Singen christlicher Lieder vor Weihnachten oder Ostern in der Schule nicht als religiöser - d.h. bekenntnishafter - Akt erscheine, solange dies nicht in einem Übermass geschehe und damit keine Bekehrung beabsichtigt sei. Gleiches gelte für den Besuch von Kultstätten, soweit damit keine religiösen Absichten verfolgt würden. Da nicht nachgewiesen sei, dass in der Schule von S._ in einem unüblichen Mass christliche Lieder gesungen oder Kultstätten aufgesucht würden, könne von einem Zwang zu einer religiösen Handlung gemäss <ref-law> nicht gesprochen werden.
3.2 Diese Beurteilung ist verfassungsrechtlich nicht zu beanstanden. Kinder dürfen zwar nicht verpflichtet werden, religiöse Lieder zu singen, wenn dies einem glaubensmässigen Akt gleichkommt. Hingegen verleiht <ref-law> grundsätzlich keinen Anspruch darauf, nicht mit den religiösen Handlungen anderer - auch religiösen Gesängen - konfrontiert zu werden. Die Beschwerdeführer behaupten zwar, sie würden zu religiösen Handlungen gezwungen, legen aber nicht näher dar, worin diese bestehen sollten; ebenso wenig belegen sie näher, dass in der Schule S._ in einem unüblichen Umfang christliche Lieder gesungen würden und darin ein bekenntnishafter Akt liege. Für die Beschwerdeführer ergibt sich der Eingriff in ihre Glaubens- und Gewissensfreiheit offenkundig nicht daraus, dass sie zu einer Handlung gezwungen werden, die von denjenigen, die sie vornehmen, als religiös betrachtet wird. Sie wehren sich vielmehr dagegen, dass sie ihren eigenen Glaubensüberzeugungen nicht nachleben können, die ihnen die umstrittenen Handlungen verbieten. Nach ihrer Auffassung liegt somit ein Eingriff in ihr Recht, ihre Religion zu bekennen, vor (<ref-law>).
3.3 Der Auszug aus dem Palmarianischen Katechismus, der bei den Akten liegt, enthält zwar strenge Bekleidungsvorschriften sowie Verbote, bestimmte Orte aufzusuchen oder Zeitungen unanständigen Inhalts zu lesen. Wie die Vorinstanz festhält, verbietet er dagegen die umstrittenen Handlungen nicht ausdrücklich. Aus dem erst dem Bundesgericht eingereichten Aktenstück geht allerdings hervor, dass es den Angehörigen palmarianischen Glaubens unter Strafe der Exkommunikation verboten ist, Kultstätten zu betreten, die nicht für den palmarianischen Gottesdienst bestimmt sind, auch nicht, um Kunstwerke zu bewundern; denn diese Orte seien zum Haus Satans geworden. Ob der Palmarianische Katechismus die fraglichen Handlungen ausdrücklich verbietet, ist freilich gar nicht ausschlaggebend. Denn die Religionsfreiheit schützt nicht nur die Glaubensüberzeugungen, die von der Mehrheit einer Religionsgemeinschaft oder ihren leitenden Organen vertreten werden, sondern auch jene von Minderheiten oder Einzelpersonen (<ref-ruling> E. 4.4 S. 84). Die Beschwerdeführer haben vor den kantonalen Instanzen stets geltend gemacht, das Singen christlicher Lieder und das Aufsuchen von Kultstätten anderer Glaubensrichtungen sei mit ihren religiösen Überzeugungen nicht zu vereinbaren. Die kantonalen Behörden ziehen die Glaubwürdigkeit dieser Aussagen nicht in Zweifel. Das Verhalten der Beschwerdeführer zeigt denn auch deutlich, dass ihre Ablehnung des Gesangs religiöser Lieder anderer Glaubensrichtungen und des Aufsuchens von deren Kultstätten einer Glaubensüberzeugung entspringt. Unter diesen Umständen schränken die angefochtenen schulischen Anordnungen die Beschwerdeführer in ihrer Glaubens- und Gewissensfreiheit ein.
3.4 Nach Art. 36 Abs. 2 und 3 BV sind Einschränkungen von Grundrechten nur zulässig, wenn sie durch ein öffentliches Interesse oder den Schutz von Grundrechten Dritter gerechtfertigt sind und wenn sie sich als verhältnismässig erweisen.
3.4.1 In der bisherigen Rechtsprechung ist ein verfassungsrechtlicher Anspruch auf Dispensation vom obligatorischen Schulunterricht vor allem für einzelne Tage gewährt worden, um die Einhaltung religiöser Ruhetage (<ref-ruling> ff.; <ref-ruling> ff.) oder die Teilnahme an religiösen Festen (<ref-ruling> ff.) zu ermöglichen. Der Anspruch reicht so weit, als durch die Dispensation ein geordneter und effizienter Schulbetrieb nicht beeinträchtigt wird (BGE <ref-ruling> E. 4a S. 317; <ref-ruling> E. 3a S. 133). Dagegen zeigt sich die Rechtsprechung viel zurückhaltender bei der Gewährung von Dispensationen von einzelnen Unterrichtsfächern. Sie unterstreicht die grosse Bedeutung des Bildungsauftrags der Schule und erklärt, dass dem obligatorischen Schulunterricht grundsätzlich der Vorrang vor der Einhaltung religiöser Vorschriften zukomme und Ausnahmen vom Besuch einzelner Fächer nur mit Zurückhaltung zu gewähren seien (<ref-ruling> E. 7.2 S. 89).
3.4.2 Die Tragweite der angefochtenen Anordnungen ist nicht völlig klar. Die Verweigerung der Dispensation bezieht sich nicht auf das Singen näher bezeichneter Lieder oder auf einen bestimmten Schulausflug. Aus den Akten und den vor Bundesgericht gestellten Begehren ist zu schliessen, dass die Beschwerdeführer die generelle Dispensation von allen Stunden, in denen religiöse Lieder gesungen werden, und von allen Schulausflügen zu religiösen Stätten anstreben. Im Licht der dargestellten Rechtsprechung verleiht die Religionsfreiheit indessen keinen Anspruch auf eine so weit gefasste Dispensation. Wie die kantonalen Instanzen zu Recht hervorheben, bezieht sich der schulische Bildungsauftrag auch auf die Kenntnisnahme fremder Glaubensüberzeugungen und derer Ausdrucksformen sowie die Auseinandersetzung mit ihnen. Das öffentliche Interesse an der Vermittlung dieser Vorstellungen und Werthaltungen ist keineswegs gering einzustufen, wie dies die Beschwerdeführer behaupten.
3.4.3 Aus den Akten und den Vernehmlassungen ergibt sich, dass die Verweigerung einer generellen Dispensation nicht ausschliesst, den Beschwerdeführern im Einzelfall - etwa für die Proben eines Weihnachtschors oder den Besuch eines bestimmten religiösen Orts - eine Dispensation zu erteilen. Der Leitfaden "Religiöse und kulturelle Vielfalt in der Schule" der kantonalen Direktion für Erziehung, Kultur und Sport sieht vor, dass schulische Feiern mit christlichem Hintergrund erlaubt seien, sie aber die religiösen Gefühle andersgläubiger Schülerinnen und Schüler nicht verletzen dürften (Ziff. 5.2). Aus verfassungsrechtlicher Sicht kann in solchen Fällen je nach den konkreten Umständen eine Dispensation andersgläubiger Kinder - namentlich vom Mitsingen, in der Regel aber nicht von der Anwesenheit im Schulzimmer - geboten sein. Bei der Prüfung von Gesuchen ist auch zu berücksichtigen, dass die Ablehnung der Freistellung die betroffene Familie in die schwierige Lage bringen kann, entweder einem staatlichen oder einem religiösen Gebot zuwiderhandeln zu müssen. Solche Spannungen können die betroffenen Kinder stark belasten und dem Kindeswohl zuwiderlaufen (<ref-ruling> E. 8a S. 194; <ref-ruling> E. 4b S. 318; ebenso FELIX HAFNER/ANNE KÜHLER, Schuldispensationen zwischen Religionsfreiheit und "bürgerlichen Pflichten", AJP 2011 918). Eine generelle Verweigerung einer Dispensation vom Singen religiös gefärbter Lieder oder vom Besuch religiöser Orte erschiene demnach unverhältnismässig. Die Schulbehörden sind deshalb gehalten, Dispensationsgesuche der Beschwerdeführer, die sich auf einzelne näher bezeichnete Unterrichtsstunden oder Veranstaltungen beziehen, in deren Rahmen religiöse Lieder gesungen oder religiöse Orte aufgesucht werden, im Licht der ihnen zustehenden Glaubens- und Gewissensfreiheit zu prüfen.
3.5 Die Beschwerdeführer haben demnach keinen verfassungsrechtlichen Anspruch auf die begehrte generelle Dispensation von religiösen Gesängen oder Anlässen sowie von schulischen Ausflügen an religiöse Orte. Das bedeutet indessen nicht, dass ihnen eine Dispensation von den genannten schulischen Veranstaltungen in allen Fällen verweigert werden dürfte. Die Beschwerde ist demnach im Sinne der Erwägungen abzuweisen.
4. Bei diesem Verfahrensausgang sind die bundesgerichtlichen Kosten den Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftung aufzuerlegen (Art. 66 Abs. 1 und 5 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird im Sinne der Erwägungen abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftung auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Kantonsgericht Freiburg schriftlich mitgeteilt.
Lausanne, 11. April 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Küng