Sachverhalt: A. AX._ und BX._ sind Eltern von CX._ (geb. 2002) und DX._ (geb. 2005) sowie von zwei jüngeren Kindern. CX._ besuchte während des Schuljahres 2007/08 in E._ den öffentlichen Kindergarten, ab August 2008 aufgrund der hohen Präsenzzeiten der öffentlichen Schule eine Privatschule in F._, welche sich noch in einem Bewilligungsverfahren befand. Die Privatschule musste - nach Aussagen des AX._ und der BX._ - gegen Ende 2009 den Betrieb aufgrund personeller Änderungen schliessen. AX._ und BX._ beantragten deshalb beim Erziehungsrat des Kantons St. Gallen (nachfolgend: Erziehungsrat), ihnen die Bewilligung zu erteilen, ihre Tochter CX._ ab 1. Januar bzw. 1. Juni 2010 und ihre Tochter DX._ ab dem Schuljahr 2010/11 zu Hause zu unterrichten. "Lehrerin" wäre dabei vorwiegend die Mutter, eine ausgebildete Sozialpädagogin HFS. G._ würde zudem den schulischen Bildungsstand ein- bis zweimal pro Jahr überprüfen, damit der Übertritt in die öffentliche Schule gewährleistet bliebe. Der Erziehungsrat lehnte das Gesuch um Erteilung von privatem Einzelunterricht ab und ordnete zugleich an, dass CX._ die öffentliche Volksschule zu besuchen habe oder die Eltern den Nachweis zu erbringen hätten, dass ihre Tochter eine anerkannte Privatschule besuche. Die dagegen gerichtete Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen ab. B. Vor Bundesgericht beantragen AX._ und BX._: "1. Es sei der Entscheid des Verwaltungsgerichts des Kantons St. Gallen vom 24. August 2010 und der Beschluss des Erziehungsrates des Kantons St. Gallen vom 17. Februar 2010 aufzuheben, und es sei den Beschwerdeführern die Bewilligung zu erteilen, ihre Töchter CX._, geb. 2002, und DX._, geb. 2005, privat zu unterrichten. 2. Eventualiter sei die Sache zum entsprechenden Entscheid an die Vorinstanz bzw. den Beschwerdegegner zurückzuweisen. 3. [...]" Begründet wurde die Beschwerde im Wesentlichen damit, die Vorinstanz habe völker-, bundesverfassungs- und kantonal(verfassungs)rechtliche Bestimmungen sowie das rechtliche Gehör verletzt. Das Verwaltungsgericht und der Erziehungsrat des Kantons St. Gallen beantragen, die Beschwerde abzuweisen.