Sachverhalt:
A. AX._ und BX._ sind Eltern von CX._ (geb. 2002) und DX._ (geb. 2005) sowie von zwei jüngeren Kindern. CX._ besuchte während des Schuljahres 2007/08 in E._ den öffentlichen Kindergarten, ab August 2008 aufgrund der hohen Präsenzzeiten der öffentlichen Schule eine Privatschule in F._, welche sich noch in einem Bewilligungsverfahren befand. Die Privatschule musste - nach Aussagen des AX._ und der BX._ - gegen Ende 2009 den Betrieb aufgrund personeller Änderungen schliessen. AX._ und BX._ beantragten deshalb beim Erziehungsrat des Kantons St. Gallen (nachfolgend: Erziehungsrat), ihnen die Bewilligung zu erteilen, ihre Tochter CX._ ab 1. Januar bzw. 1. Juni 2010 und ihre Tochter DX._ ab dem Schuljahr 2010/11 zu Hause zu unterrichten. "Lehrerin" wäre dabei vorwiegend die Mutter, eine ausgebildete Sozialpädagogin HFS. G._ würde zudem den schulischen Bildungsstand ein- bis zweimal pro Jahr überprüfen, damit der Übertritt in die öffentliche Schule gewährleistet bliebe. Der Erziehungsrat lehnte das Gesuch um Erteilung von privatem Einzelunterricht ab und ordnete zugleich an, dass CX._ die öffentliche Volksschule zu besuchen habe oder die Eltern den Nachweis zu erbringen hätten, dass ihre Tochter eine anerkannte Privatschule besuche. Die dagegen gerichtete Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen ab.
B. Vor Bundesgericht beantragen AX._ und BX._:
"1. Es sei der Entscheid des Verwaltungsgerichts des Kantons St. Gallen vom 24. August 2010 und der Beschluss des Erziehungsrates des Kantons St. Gallen vom 17. Februar 2010 aufzuheben, und es sei den Beschwerdeführern die Bewilligung zu erteilen, ihre Töchter CX._, geb. 2002, und DX._, geb. 2005, privat zu unterrichten.
2. Eventualiter sei die Sache zum entsprechenden Entscheid an die Vorinstanz bzw. den Beschwerdegegner zurückzuweisen.
3. [...]"
Begründet wurde die Beschwerde im Wesentlichen damit, die Vorinstanz habe völker-, bundesverfassungs- und kantonal(verfassungs)rechtliche Bestimmungen sowie das rechtliche Gehör verletzt.
Das Verwaltungsgericht und der Erziehungsrat des Kantons St. Gallen beantragen, die Beschwerde abzuweisen.

Erwägungen:
1. 1.1 Die Beschwerde ist innert der gesetzlichen Frist (<ref-law>) eingereicht worden und richtet sich gegen den Entscheid einer letzten kantonalen Instanz (<ref-law>) in einer Angelegenheit des öffentlichen Rechts (<ref-law>). Der Ausschlussgrund nach Art. 83 lit. t BGG ist vorliegend nicht anwendbar. Die Beschwerdeführer sind zur Beschwerde legitimiert (<ref-law>). Auf die Beschwerde ist grundsätzlich einzutreten.
1.2 Die Beschwerdeführer beantragen vor Bundesgericht, den Beschluss des Erziehungsrates aufzuheben. Darauf ist nicht einzutreten: Vor Bundesgericht sind lediglich Entscheide bundesgerichtlicher Vorinstanzen anfechtbar (<ref-law>), welche die unterinstanzlichen Entscheide ersetzen (sog. Devolutiveffekt); diese gelten indes als mitangefochten (vgl. <ref-ruling> E. 1.4 S. 144).
1.3 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich eine Verletzung von Bundesrecht, Völkerrecht und kantonalen verfassungsmässigen Rechten gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Hinsichtlich der Verletzung von Grundrechten, insbesondere des Willkürverbots, gilt zudem eine qualifizierte Rügepflicht (<ref-law>; vgl. <ref-ruling> E. 4.1 S. 235 mit Hinweisen).
1.4 Das Bundesgericht legt seinem Urteil zudem den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (<ref-law>).
2. Die Beschwerdeführer bringen verschiedentlich vor, ihnen sei das rechtliche Gehör nicht gewährt worden; die Vorinstanzen hätten sich mit den eingereichten Studien nicht auseinandergesetzt. Diese sollten im Rahmen der Interessenabwägung und der Verhältnismässigkeitsprüfung belegen, dass das Vorgehen des Erziehungsrats unzulässig gewesen sei. Insofern ist nicht die Sachverhaltsermittlung als solche, sondern die rechtliche Würdigung dieses Sachverhalts infrage gestellt. Die Rügen werden deshalb im Rahmen der Subsumtion - soweit notwendig - behandelt.
3. 3.1 Der private Einzelunterricht ist in Art. 123 des kantonalen Volksschulgesetzes vom 13. Januar 1983 (VSG; sGS 213.1) im Abschnitt "Privatunterricht" (Art. 115 - 124 VSG) geregelt: Nach Abs. 1 werden für den privaten Einzelunterricht die Vorschriften des VSG über die Privatschulen sachgemäss angewendet; nach Abs. 2 erteilt der Erziehungsrat die Bewilligung, wenn zudem die Erziehung zur Gemeinschaftsfähigkeit sichergestellt ist. Der Verweis in Art. 123 Abs. 1 VSG betrifft die Vorschriften des Art. 115 ff. VSG: Danach unterstehen die Privatschulen der staatlichen Aufsicht (Art. 115 VSG), und deren Errichtung und Führung bedürfen einer Bewilligung des Erziehungsrates (Art. 116 VSG). Diese wird erteilt, wenn Schulleitung, fachliche Führung, Organisation und Schulräumlichkeiten einen der öffentlichen Schule gleichwertigen, auf Dauer angelegten Unterricht gewährleisten sowie die obligatorischen Unterrichtsbereiche der öffentlichen Schule unterrichtet werden (Art. 117 VSG). Nach Art. 120 Abs. 1 VSG darf in Privatschulen unterrichten, wer dafür eine Lehrbewilligung besitzt. Eine solche erhält, wer für die vorgesehene Lehrtätigkeit eine ausreichende Ausbildung nachweist und die persönlichen Voraussetzungen erfüllt (Art. 120 Abs. 2 i.V.m. Art. 62 VSG).
Der Beschwerdeführer rügt teilweise eine willkürliche Anwendung dieser Bestimmungen, aber vor allem, dass deren restriktive Anwendung mit den Grundrechten auf Völkerrechts-, Bundesverfassungs- und Kantonsverfassungsstufe nicht vereinbar sei. Ob ein behaupteter Grundrechtsanspruch überhaupt vorliegt, ist nachfolgend zuerst zu prüfen (E. 3.2-3.5).
Der Beschwerdeführer rügt teilweise eine willkürliche Anwendung dieser Bestimmungen, aber vor allem, dass deren restriktive Anwendung mit den Grundrechten auf Völkerrechts-, Bundesverfassungs- und Kantonsverfassungsstufe nicht vereinbar sei. Ob ein behaupteter Grundrechtsanspruch überhaupt vorliegt, ist nachfolgend zuerst zu prüfen (E. 3.2-3.5).
3.2 3.2.1 Eine Beschwerde wegen Verletzung von Staatsvertragsrecht (vgl. <ref-law>) setzt voraus, dass die staatsvertragliche Bestimmung, deren Verletzung gerügt wird, direkt anwendbar (self-executing) ist. Dies trifft zu, wenn die Bestimmung erstens Rechte und Pflichten des Einzelnen regelt, sie zweitens inhaltlich hinreichend bestimmt und klar ist, um im Einzelfall Grundlage eines Entscheides zu bilden; drittens muss sich die Bestimmung an die rechtsanwendenden Behörden richten. Die erforderliche Bestimmtheit geht insbesondere blossen Programmartikeln ab. Sie fehlt auch Bestimmungen, die eine Materie nur in Umrissen regeln, dem Vertragsstaat einen beträchtlichen Ermessens- oder Entscheidungsspielraum lassen oder blosse Leitgedanken enthalten (<ref-ruling> E. 8.1 S. 307; <ref-ruling> E. 3.2 S. 291).
3.2.2 Die Beschwerdeführer rügen eine Verletzung von Art. 26 Abs. 3 der Allgemeinen Erklärung der Menschenrechte der Vereinten Nationen vom 10. Dezember 1948 (nachfolgend: Allgemeine Erklärung der Menschenrechte), welche als Gewohnheitsrecht rechtlich bindend sei. Ferner sei Art. 13 Abs. 3 des Internationalen Paktes der Vereinten Nationen vom 16. Dezember 1966 über wirtschaftliche, soziale und kulturelle Rechte (Uno-Pakt I; SR 0.103.1) verletzt, welcher direkt anwendbar sei und - entgegen der Auffassung der Vorinstanz - auch den privaten Einzelunterricht umfasse.
3.2.3 Nach Art. 26 Abs. 3 der Allgemeinen Erklärung der Menschenrechte haben die Eltern ein vorrangiges Recht, die Art der Bildung zu wählen, die ihren Kindern zuteil werden soll. Der Allgemeinen Erklärung der Menschenrechte kommt als Resolution der Generalversammlung der Vereinten Nationen grundsätzlich keine Rechtsverbindlichkeit zu (vgl. Urteil 2C_169/2008 E. 4.1, in: ZBl 2008 S. 551 ff.; Urteil 2C_714/2009 vom 26. November 2009 E. 2.2; siehe auch <ref-ruling> E. 3a S. 206). Zwar können nach den allgemeinen Regeln (vgl. Art. 38 Abs. 1 lit. b des Statuts des Internationalen Gerichtshofs vom 26. Juni 1945 [IGH-Statut; SR 0.193.501]) gewisse Artikel der Allgemeinen Erklärung der Menschenrechte zugleich Ausdruck von Völkergewohnheitsrecht sein, doch zählt dazu nicht das in Art. 26 Abs. 3 aufgeführte Recht der Eltern, die Art der Bildung zu wählen, die ihren Kindern zuteil werden soll.
3.2.4 Nach Art. 13 Abs. 3 Uno-Pakt I verpflichten sich die Vertragsstaaten, die Freiheit der Eltern und gegebenenfalls des Vormunds oder Pflegers zu achten, für ihre Kinder andere als öffentliche Schulen zu wählen, die den vom Staat gegebenenfalls festgesetzten oder gebilligten bildungspolitischen Mindestnormen entsprechen, sowie die religiöse und sittliche Erziehung ihrer Kinder in Übereinstimmung mit ihren eigenen Überzeugungen sicherzustellen. Ob diese Vorschrift im vorliegenden Fall direkt anwendbar ist (zur Rechtsprechung des Bundesgerichts siehe etwa <ref-ruling> E. 3.6.4 S. 166; <ref-ruling> E. 3.3 S. 123 f.; <ref-ruling> E. 2e S. 282; <ref-ruling> E. 5c S. 12), kann offenbleiben. Denn entgegen der Auffassung der Beschwerdeführer ergibt sich aus Art. 13 Abs. 3 Uno-Pakt I kein Anspruch auf Privatunterricht zu Hause. Bereits der Wortlaut spricht von "andere[n] als öffentlichen Schulen" bzw. - im Originaltext - von "des établissements autres que ceux des pouvoirs publics" und hebt damit hervor, dass es sich um Bildungseinrichtungen handeln muss. Der Wortlaut widerspiegelt die Paktvorarbeiten: Dort wurde festgehalten, dass die Persönlichkeitsentwicklung nur im schulischen Rahmen gewährleistet werden kann. Gegen den Privatunterricht zu Hause wurde auch die Missbrauchsgefahr und dessen fehlende Kontrolle geltend gemacht (vgl. PIUS GEBERT, Das Recht auf Bildung nach Art. 13 des UNO-Paktes über wirtschaftliche, soziale und kulturelle Rechte, 1996, S. 560 f. FN 16 ff. mit Hinweis auf die verschiedenen Materialien). Damit liegt keine vom Wortlaut abweichende Willenseinigung der Vertragsstaaten vor, und der Normsinn ist eindeutig.
3.2.4 Nach Art. 13 Abs. 3 Uno-Pakt I verpflichten sich die Vertragsstaaten, die Freiheit der Eltern und gegebenenfalls des Vormunds oder Pflegers zu achten, für ihre Kinder andere als öffentliche Schulen zu wählen, die den vom Staat gegebenenfalls festgesetzten oder gebilligten bildungspolitischen Mindestnormen entsprechen, sowie die religiöse und sittliche Erziehung ihrer Kinder in Übereinstimmung mit ihren eigenen Überzeugungen sicherzustellen. Ob diese Vorschrift im vorliegenden Fall direkt anwendbar ist (zur Rechtsprechung des Bundesgerichts siehe etwa <ref-ruling> E. 3.6.4 S. 166; <ref-ruling> E. 3.3 S. 123 f.; <ref-ruling> E. 2e S. 282; <ref-ruling> E. 5c S. 12), kann offenbleiben. Denn entgegen der Auffassung der Beschwerdeführer ergibt sich aus Art. 13 Abs. 3 Uno-Pakt I kein Anspruch auf Privatunterricht zu Hause. Bereits der Wortlaut spricht von "andere[n] als öffentlichen Schulen" bzw. - im Originaltext - von "des établissements autres que ceux des pouvoirs publics" und hebt damit hervor, dass es sich um Bildungseinrichtungen handeln muss. Der Wortlaut widerspiegelt die Paktvorarbeiten: Dort wurde festgehalten, dass die Persönlichkeitsentwicklung nur im schulischen Rahmen gewährleistet werden kann. Gegen den Privatunterricht zu Hause wurde auch die Missbrauchsgefahr und dessen fehlende Kontrolle geltend gemacht (vgl. PIUS GEBERT, Das Recht auf Bildung nach Art. 13 des UNO-Paktes über wirtschaftliche, soziale und kulturelle Rechte, 1996, S. 560 f. FN 16 ff. mit Hinweis auf die verschiedenen Materialien). Damit liegt keine vom Wortlaut abweichende Willenseinigung der Vertragsstaaten vor, und der Normsinn ist eindeutig.
3.3 3.3.1 Die Beschwerdeführer führen sodann aus, der private Einzelunterricht sei auch durch die Bundesverfassung gewährleistet. Während <ref-law> einen ausreichenden Grundschulunterricht garantieren solle, würden die Kantone in <ref-law> mit der Gewährleistung dieses verfassungsmässigen Rechts betraut, indem sie diesen selbst anbieten oder den von Privaten angebotenen Unterricht beaufsichtigen würden. Dem Verfassungstext würde sich nicht entnehmen lassen, dass nur der Grundschulunterricht im Klassenverband darunter falle. Solange die Kosten des privaten Unterrichts durch die Unterrichteten selbst übernommen würden, seien sämtliche Bildungsformen bzw. -alternativen, welche den Anforderungen des <ref-law> genügten, als durch die verfassungsmässig garantierte Schulfreiheit geschützt zu betrachten.
3.3.2 <ref-law> gewährleistet als Grundrecht einen Anspruch auf ausreichenden und unentgeltlichen Grundschulunterricht. Der verfassungsmässige Anspruch auf staatliche Leistung (<ref-ruling> E. 4.1 S. 16) betrifft nur die öffentliche Grundschule (vgl. GIOVANNI BIAGGINI, Bundesverfassung der Schweizerischen Eidgenossenschaft, 2007, N. 8 zu <ref-law>). Für das Schulwesen sind die Kantone zuständig; sie sorgen für einen ausreichenden obligatorischen Grundschulunterricht, der allen Kindern offen steht (vgl. Art. 62 Abs. 1, 2 Satz 1 und 2 i.i. BV).
Der Grundschulunterricht untersteht staatlicher Leitung oder Aufsicht (Art. 62 Abs. 2 Satz 2 i.f. BV). Aus der Aufsicht folgt, dass der Verfassungsgeber von der Möglichkeit privater Schulen ausgeht; in diesem Fall sollen diese staatlicher Aufsicht unterstehen. Die Bundesverfassung will damit sicherstellen, dass der Grundschulunterricht auch dann, wenn er von nicht öffentlichen Schulen wahrgenommen wird, ausreichend ist (vgl. BERNHARD EHRENZELLER/MARKUS SCHOTT, in: Die schweizerische Bundesverfassung, Ehrenzeller/Mastronardi/Schweizer/Vallender [Hrsg.], 2. Aufl. 2008, N. 31 zu Art. 62; PASCAL MAHON, in: Petit commentaire de la Constitution fédérale de la Confédération suisse [...], 2003, Rz. 10 ad art. 62 Cst.). Mehr will sie nicht: Art. 62 Abs. 2 Satz 2 i.f. BV erklärt kein bestimmtes Modell privater Unterrichtsform als zulässig oder unzulässig (vgl. JÖRG PAUL MÜLLER/MARKUS SCHEFER, Grundrechte in der Schweiz, 4. Aufl. 2008, S. 795; ULRICH HÄFELIN/WALTER HALLER/HELEN KELLER, Schweizerisches Bundesstaatsrecht, 7. Aufl. 2008, Rz. 233). Der Bundesverfassungsgeber setzt nur die minimalen Anforderungen, damit die der Bildungsverfassung zugrundeliegenden Werte verwirklicht werden. Immerhin können sich die Kantone aufgrund ihrer Schulhoheit zu verschiedenen Modellen bekennen. <ref-law> i.V.m. <ref-law> gewährleistet demnach den privaten Einzelunterricht nicht. Die Vorinstanz hat zu Recht einen solchen Anspruch verneint.
Inwiefern die von den Beschwerdeführern auch angerufenen Art. 10 Abs. 2, Art. 13, 15, 16, 23 und 27 BV für den privaten Heimunterricht massgebend sein sollten, wird nicht dargetan. Es ist deshalb darauf nicht näher einzutreten (<ref-law>).
3.4 Die Beschwerdeführer rügen im Weiteren eine Verletzung von Art. 3 lit. a der Verfassung des Kantons St. Gallen vom 10. Juni 2001 (KV SG; SR 131.225).
3.4.1 Art. 3 lit. a KV SG gewährleistet das Recht, Privatschulen zu gründen und zu führen sowie zu besuchen. Nach seinem Wortlaut nimmt er Bezug auf Bildungseinrichtungen; der häusliche Privatunterricht fällt nicht darunter. Auch aus systematischer Sicht ergibt sich nichts anderes: Die Kantonsverfassung regelt Angelegenheiten der Schule an mehreren Orten (Art. 3 lit. a-c und Art. 10) ausführlich und detailliert. Dieser Optik entsprechend muss daher davon ausgegangen werden, dass der Verfassungsgeber, hätte er den privaten Heimunterricht grundrechtlich schützen wollen, dies ebenfalls detaillierter und besonders hervorhebend geregelt hätte.
3.4.2 Die Beschwerdeführer machen allerdings geltend, aus der Entstehungsgeschichte ergebe sich, dass der Gehalt von Art. 3 Abs. 4 der Verfassung vom 16. November 1890 (aKV SG) in Art. 3 lit. a KV SG enthalten sei. Man wollte die Kontinuität der Verfassungsentwicklung wahren. Insoweit sei in der KV SG ein Grundrecht auf privaten Heimunterricht statuiert.
Art. 3 Abs. 4 aKV SG sprach von der Privatschulfreiheit; dieses Grundrecht war allerdings nur unter Vorbehalt gesetzlicher Bestimmungen gewährleistet. Darunter fielen einerseits Privatschulen, andererseits der Privatunterricht (vgl. Botschaft des Regierungsrates zum Entwurf eines Volksschulgesetzes vom 23. Juni 1981, Separatdruck, S. 36). Die von den Beschwerdeführern hervorgehobene Kontinuität nimmt in der Botschaft (Botschaft und Entwurf der Verfassungskommission zur neuen Verfassung des Kantons St. Gallen vom 17. Dezember 1999 [ABl des Kantons St. Gallen, Sonderausgabe vom 28. Januar 2000, S. 29 [Original S. 193]) lediglich auf den "«Anspruch auf Privatschulen» als Grundrecht" Bezug. Mit keinem Wort wird eine solche für den Privatunterricht angesprochen. Die behauptete Kontinuität wird zudem ein weiteres Mal durchbrochen: Im Gegensatz zu Art. 3 Abs. 4 aKV SG wurde der Vorbehalt gesetzlicher Bestimmungen aufgehoben, was zur Folge hat, "dass Beschränkungen der Privatschulfreiheit [...] nicht mehr nur nach Massgabe des Gesetzes (vgl. Art. 115 ff. VSG) zu beurteilen sind, sondern die gesetzlichen Regelungen selber einer Überprüfung darauf unterzogen werden können, ob sie einem öffentlichen Interesse entsprechen und verhältnismässig sind". Offensichtlich wollte der Verfassungsgeber nur den Anspruch auf Privatschulen als modernes Grundrecht, vor welchem auch Gesetzesrecht bestehen muss, in die neue Verfassung überführen. Insofern kann höchstens bezüglich der Privatschulen von einer Kontinuität die Rede sein. Die Ausführungen in der Botschaft KV SG bestätigen somit den Wortlaut von Art. 3 lit. a KV SG und die Erkenntnisse aus dem systematischen Auslegungselement: Grundrechtlich geschützt sind nur Bildungseinrichtungen.
Art. 3 Abs. 4 aKV SG sprach von der Privatschulfreiheit; dieses Grundrecht war allerdings nur unter Vorbehalt gesetzlicher Bestimmungen gewährleistet. Darunter fielen einerseits Privatschulen, andererseits der Privatunterricht (vgl. Botschaft des Regierungsrates zum Entwurf eines Volksschulgesetzes vom 23. Juni 1981, Separatdruck, S. 36). Die von den Beschwerdeführern hervorgehobene Kontinuität nimmt in der Botschaft (Botschaft und Entwurf der Verfassungskommission zur neuen Verfassung des Kantons St. Gallen vom 17. Dezember 1999 [ABl des Kantons St. Gallen, Sonderausgabe vom 28. Januar 2000, S. 29 [Original S. 193]) lediglich auf den "«Anspruch auf Privatschulen» als Grundrecht" Bezug. Mit keinem Wort wird eine solche für den Privatunterricht angesprochen. Die behauptete Kontinuität wird zudem ein weiteres Mal durchbrochen: Im Gegensatz zu Art. 3 Abs. 4 aKV SG wurde der Vorbehalt gesetzlicher Bestimmungen aufgehoben, was zur Folge hat, "dass Beschränkungen der Privatschulfreiheit [...] nicht mehr nur nach Massgabe des Gesetzes (vgl. Art. 115 ff. VSG) zu beurteilen sind, sondern die gesetzlichen Regelungen selber einer Überprüfung darauf unterzogen werden können, ob sie einem öffentlichen Interesse entsprechen und verhältnismässig sind". Offensichtlich wollte der Verfassungsgeber nur den Anspruch auf Privatschulen als modernes Grundrecht, vor welchem auch Gesetzesrecht bestehen muss, in die neue Verfassung überführen. Insofern kann höchstens bezüglich der Privatschulen von einer Kontinuität die Rede sein. Die Ausführungen in der Botschaft KV SG bestätigen somit den Wortlaut von Art. 3 lit. a KV SG und die Erkenntnisse aus dem systematischen Auslegungselement: Grundrechtlich geschützt sind nur Bildungseinrichtungen.
3.5 3.5.1 Zu prüfen bleibt im Folgenden, ob das Gesuch auf privaten Einzelunterricht - gestützt auf das oben dargestellte kantonale Gesetzesrecht (E. 3.1) - zu Recht abgelehnt worden ist. Prüfmassstab für die Auslegung und Anwendung des kantonalen Rechts bildet das Willkürverbot (<ref-ruling> E. 4.2.2 S. 158). Dabei haben die Beschwerdeführer in der Beschwerde im Einzelnen darzulegen (Art. 42 Abs. 2 i.V.m. <ref-law>), inwiefern der angefochtene Entscheid willkürlich sein soll (vgl. <ref-ruling> E. 1 S. 203), d.h. an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 1.3 S. 261 mit Hinweisen). Soweit die Beschwerde diese Anforderungen nicht erfüllt, ist auf sie nicht einzutreten. Dies gilt vor allem für das Plädoyer für "Homeschooling" und die zur massvollen Einschränkung der - wie dargelegt - nicht vorhandenen Grundrechtsansprüche eingereichten Studien.
3.5.2 Nach der ständigen Praxis des Bundesgerichts liegt Willkür in der Rechtsanwendung dann vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 2.2.2 S. 318 f.; <ref-ruling> E. 4.1 S. 133; je mit Hinweisen).
3.5.3 Die Beschwerdeführer rügen, die Vorinstanz und der Erziehungsrat hätten für den privaten Unterricht in willkürlicher Weise die beinahe gleichen Voraussetzungen für die Unterrichtsbefähigung verlangt, wie für die Schulen. Ferner seien willkürlich hohe Anforderungen an die Sicherstellung der Qualität des privaten Einzelunterrichts sowie der Sozialisierung bzw. Gemeinschaftsfähigkeit gestellt worden.
3.5.4 Bei der Prüfung der Rügen ist im Auge zu behalten, dass der im VSG geregelte private Einzelunterricht den bundesrechtlichen Anforderungen von Art. 19 und <ref-law> zu genügen hat: Auch der private Einzelunterricht muss ausreichend sein. Die Ausbildung muss für den Einzelnen angemessen und geeignet sein sowie genügen, um die Schüler gebührend auf ein selbstverantwortliches Leben im modernen Alltag vorzubereiten (<ref-ruling> E. 7.3 S. 38). Der Anspruch auf ausreichenden Grundschulunterricht wird verletzt, wenn die Ausbildung des Kindes - sei es durch den Staat, sei es durch die Eltern - in einem Masse eingeschränkt wird, dass die Chancengleichheit nicht mehr gewahrt ist bzw. wenn es Lehrinhalte nicht vermittelt erhält, die in der hiesigen Wertordnung als unverzichtbar gelten (<ref-ruling> E. 7.3 i.f. S. 39, mit weiteren Hinweisen), oder von einer nicht genügend ausgebildeten oder fähigen Lehrperson unterrichtet wird (vgl. ASTRID EPINEY/BERNHARD WALDMANN, § 224 Soziale Grundrechte und soziale Zielsetzungen, in: Merten/Papier/Müller/Thürer, Handbuch der Grundrechte, Bd. VII/2 Grundrechte in der Schweiz und in Liechtenstein, 2007, S. 611 ff., N. 36 zu § 224), oder dass es in der Gesellschaft oder im demokratischen Gemeinwesen nicht (mehr) partizipieren kann (vgl. PASCAL MAHON, in: Petit commentaire, a.a.O., Rz. 8 ad art. 19 Cst). Ausschlaggebend ist das Wohl des Kindes und nicht dasjenige der Eltern (vgl. REGULA KÄGI-DIENER, in: Die schweizerische Bundesverfassung, a.a.O., N. 25 zu Art. 19). Aus diesen Gründen hat der kantonale Gesetzgeber auch den privaten Einzelunterricht einer Bewilligungspflicht unterstellt (Art. 123 VSG).
3.5.5 Anforderungen an die Befähigung für den privaten Einzelunterricht formuliert Art. 120 i.V.m. Art. 123 Abs. 1 VSG. Danach wird die Lehrbewilligung in sachgemässer Anwendung von Art. 62 VSG erteilt: Verlangt wird eine ausreichende Ausbildung und das Vorhandensein von persönlichen Voraussetzungen.
Die Vorinstanz hat die vom Erziehungsrat gestellten Anforderungen reduziert und trotzdem festgehalten, dass es sachgerecht erscheine, zwecks Qualitätssicherung des Unterrichts auch dann eine vertiefte methodisch-didaktische Ausbildung zu verlangen, wenn Eltern ihre Kinder zu Hause unterrichten.
Angesichts der Bedeutung der Bildung erscheint es nicht willkürlich, unter dem unbestimmten Rechtsbegriff "ausreichende Ausbildung" für Eltern, welche ihre Kinder zu Hause unterrichten, eine vertiefte methodisch-didaktische Ausbildung zu verstehen. Es ist nämlich im Blick zu behalten, dass sich die Kinder nach Abschluss des - hier über mehrere Jahre dauernden - Hausunterrichts wiederum in die weitere Ausbildung einzugliedern haben. Dabei sollen sie während der Phase des Unterrichts zu Hause nicht nur den Wissensstoff bestmöglich vermittelt bekommen, sondern u.a. auch die Fähigkeit ausgebildet haben, diesen methodisch selbständig erarbeiten zu können. Es ist deshalb ebenso nicht willkürlich, der Mutter diese Anforderungen abzusprechen. Sie verfügt zwar als ausgebildete Sozialpädagogin über pädagogische Fähigkeiten. Diese umfassen indes nicht die für Lehrpersonen geforderten Kenntnisse über das methodische Lehren und Lernen im Unterricht, mithin über die Methodik und Didaktik (dazu HERBERT PLOTKE, Schweizerisches Schulrecht, 2. Aufl. 2003, S. 501), sondern sind auf Problemsituationen der alltäglichen Lebensbewältigung von Menschen gerichtet, die infolge sozialer, geistiger, psychischer oder körperlicher Umstände, Benachteiligungen oder Behinderungen einer professionellen Begleitung bedürfen (dazu etwa das Studienkonzept für das Studium Sozialpädagogik HF / Kindererziehung HF der Berufs-, Fach- und Fortbildungsschule Bern, Ziff. 4). Diese Fähigkeiten einer "Lehrerin" sind hier umso mehr gefordert, als eine regelmässige Kontrolle wie in der öffentlichen Schule oder der Privatschule, welche garantierten, dass den minimalen Anforderungen nach Art. 19 und 62 Abs. 2 BV genügt wird (vgl. BGE 114 Ia E. 3a S. 133), praktisch ausgeschlossen ist; die wenigen Kontrollen durch einen Lehrer vermögen dieses Manko nicht wettzumachen (<ref-ruling> E. 3a S. 133).
3.5.6 Der private Einzelunterricht kann zudem nur bewilligt werden, wenn die Erziehung zur Gemeinschaftsfähigkeit sichergestellt ist (Art. 123 Abs. 2 VSG). Dazu hat die Vorinstanz ausgeführt, dass die Eltern einen Teil der Enkulturation nicht leisten können. Notwendig seien deshalb spezifische Massnahmen und Vorkehren der Unterrichtsgestaltung, die über den privaten Einzelunterricht und über die Teilnahme an freiwilligen Freizeitaktivitäten hinausgehen müssten, damit die Kinder auch an familienunabhängigen sozialen Herausforderungen wachsen können. Dies treffe hier nicht zu.
Die vorinstanzliche Begründung überzeugt. Da bereits bundesrechtlich verlangt wird, dass eine Aufgabe der Schule (siehe dazu Art. 1 Abs. 2 der Sportförderungsverordnung vom 21. Oktober 1987 [SFV; SR 415.01]) darin besteht, die soziale Kompetenz der Schülerinnen und Schüler entwicklungsspezifisch zu fördern, ist es nicht willkürlich, wenn für die Erziehung zur Gemeinschaftsfähigkeit nicht nur auf die elterliche Erziehung, auf Freizeitaktivitäten und auf Kontakte mit Freunden und Bekannten vertraut wird, sondern auch ein ausserfamiliäres und freundschaftsunabhängiges Umfeld einbezogen wird. Denn nur dort kann eine familienunabhängige Auseinandersetzung mit Erwachsenen, Vorgesetzten, Respektpersonen, anderen Kindern mit teilweise anderen Kulturen erfolgen, was die Kinder befähigt, sich im späteren Leben bestmöglich zu integrieren, und ihnen die gleichen Chancen eröffnet. Willkürlich wäre indes, wenn so hohe Anforderungen an die Erziehung zur Gemeinschaftsfähigkeit gestellt würden, dass die Kinder gleichsam eine Schule besuchen müssten. Dies verlangt aber entgegen der Auffassung der Beschwerdeführer die Vorinstanz nicht. Sie hat lediglich festgehalten, dass der Klavierunterricht, welcher zudem nur ein Kind betrifft, nicht hinreichend ist, die Erziehung zur Gemeinschaftsfähigkeit zu gewährleisten.
4. Die Beschwerde erweist sich daher als unbegründet und ist demzufolge abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang werden die Beschwerdeführer unter Solidarhaft kostenpflichtig (Art. 65 f. BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern unter Solidarhaft auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 24. Mai 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Errass