Faits :
A.
A.A._ et B.A._ sont les parents de C.A._, né en 2006 et élève à l'Etablissement primaire et secondaire de D._ (ci-après: l'Etablissement scolaire). C.A._ souffre d'un trouble de l'attention et d'une dyslexie. Pour cette raison, il bénéficie de certains aménagements dans sa scolarité, sans adaptation d'objectifs.
A l'issue de sa 8e année scolaire (2018-2019), C.A._ a été orienté en 9 e année de la voie générale, en niveau 1 en français et mathématiques et en niveau 2 en allemand. Au terme du premier semestre de sa 9e année (2019-2020), C.A._ a obtenu la moyenne de 4,5 en français, de 5 en allemand et de 5 en mathématiques.
B.
Le 24 janvier 2020, A.A._ et B.A._ ont demandé à l'Etablissement scolaire que leur enfant puisse poursuivre son année scolaire 2019-2020 en niveau 2 en mathématiques. Le 27 janvier 2020, la maîtresse de classe de C.A._ a informé les parents de celui-ci que le conseil de classe n'avait pas préavisé favorablement le passage de l'élève au niveau 2 en mathématiques, indiquant d'un part que C.A._ ne remplissait pas les exigences légales et n'était pas prêt pour un passage à un niveau supérieur et, d'autre part, qu'un certain manque d'organisation se faisait encore sentir, en dépit des progrès accomplis. Le 28 janvier 2020, le conseil de direction de l'Etablissement scolaire a décidé de la poursuite de la scolarité de C.A._ en 9e année dans la même voie et les mêmes niveaux. Le 31 janvier 2020, A.A._ et B.A._ ont contesté cette décision auprès du Département de la formation, de la jeunesse et de la culture du canton de Vaud (ci-après: le Département) qui a rejeté leur recours par décision du 9 juin 2020. Les époux A._ ont interjeté recours contre cette décision le 9 juillet 2020 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Par arrêt du 26 octobre 2020, le Tribunal cantonal a rejeté le recours, dans la mesure où celui-ci était recevable.
C.
Agissant par la voie du recours constitutionnel subsidiaire, A.A._ et B.A._ demandent en substance au Tribunal fédéral, sous suite de frais et dépens, outre l'assistance judiciaire (I et II), d'annuler l'arrêt du Tribunal cantonal du 26 octobre 2020 (III), d'ordonner le passage de C.A._ au niveau 2 de mathématiques (IV), de constater le caractère illicite de la décision de l'Etablissement scolaire du 28 janvier 2020 (V), de dire et constater le caractère illicite de l'arrêt du Tribunal cantonal du 26 octobre 2020 (VI), de constater que la moyenne de C.A._ en mathématiques est suffisante pour un passage au niveau 2 (VII) et de constater le caractère illicite de toute décision de changement de niveau se fondant sur des critères liés au trouble du déficit de l'attention et à la dyslexie de leur enfant (VIII).
Le Tribunal cantonal renonce à se déterminer sur le recours et se réfère aux considérants de son arrêt. Le Département conclut au rejet du recours. L'Etablissement scolaire n'a pas été invité à se déterminer.

Considérant en droit :
1.
1.1. L'arrêt attaqué est une décision finale (<ref-law>) qui concerne une cause de droit public (<ref-law>) et émane d'un tribunal supérieur statuant en dernière instance cantonale, sans qu'un recours auprès du Tribunal administratif fédéral ne soit ouvert (art. 86 al. 1 let. d et al. 2 LTF). Il peut donc a priori faire l'objet d'un recours en matière de droit public au Tribunal fédéral, à condition que la cause ne tombe pas sous le coup de l'exception figurant à l'art. 83 let. t LTF.
1.2. En vertu de cette disposition, le recours en matière de droit public n'est pas ouvert à l'encontre des décisions sur le résultat d'examens ou d'autres évaluations des capacités, notamment en matière de scolarité obligatoire, de formation ultérieure ou d'exercice d'une profession. Un recours en matière de droit public est donc exclu lorsque la décision attaquée porte matériellement sur l'évaluation des aptitudes intellectuelles ou physiques du candidat et que celle-ci demeure litigieuse devant le Tribunal fédéral (cf. <ref-ruling> consid. 1; arrêts 2C_212/2020 du 17 août 2020 consid. 1.1; 2C_769/2019 du 27 juillet 2020 consid. 1.2.1).
La présente cause porte sur le point de savoir si le fils des recourants, dans le cadre de sa scolarité obligatoire, peut prétendre à suivre un enseignement en mathématiques de niveau 2 lors du second semestre de la 9e année de la voie générale. Selon le ch. 6.3 ( recte : 8.2) de la 5e édition du Cadre général de l'évaluation du Département (ci-après: CGE; <www.vd.ch> sous Thème/ Formation/ Scolarité obligatoire/ Evaluation et Epreuves cantonales de références (ECR) / Cadre légal - Cadre général de l'évaluation), par renvoi de l'art. 90 al. 1 de la loi vaudoise du 7 juin 2011 sur l'enseignement obligatoire (LEO/VD; BLV 400.02), les conditions pour pouvoir passer du niveau 1 au niveau 2 dans une discipline à niveaux sont notamment une moyenne de 5 dans la discipline concernée et un préavis favorable de l'enseignant. En l'espèce, les recourants ne prétendent pas que leur enfant aurait droit à un moyenne supérieure à celle de 5, obtenue par celui-ci en mathématiques durant le premier semestre de sa 9e année scolaire. C'est uniquement le préavis de l'enseignante et son prétendu caractère stigmatisant du handicap de l'élève qui font l'objet de leur recours. Ce préavis, s'il est forcément plus subjectif que la moyenne des notes obtenues durant le semestre, n'en reste toutefois pas moins une évaluation des capacités de l'élève, en particulier des capacités à suivre un enseignement de niveau 2 en mathématiques. Par conséquent, la présente cause tombe sous l'exception de l'art. 83 let. t LTF et c'est ainsi à juste titre que les recourants ont formé un recours constitutionnel subsidiaire.
1.3. Conformément à l'<ref-law>, a qualité pour former un recours constitutionnel quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a) et a un intérêt juridique à l'annulation ou à la modification de la décision attaquée (let. b). Cet intérêt doit être actuel et pratique, comme dans le recours en matière de droit public (<ref-ruling> consid. 1.3.1; arrêt 8D_6/2019 du 4 février 2020 consid. 1.3 et les références). Il doit exister non seulement au moment du dépôt du recours, mais encore au moment où l'arrêt est rendu, le Tribunal fédéral se prononçant sur des questions concrètes et non pas simplement théoriques (<ref-ruling> consid. 4.2). Le Tribunal fédéral déclare le recours irrecevable lorsque l'intérêt actuel fait défaut au moment du dépôt du recours; en revanche, si cet intérêt disparaît en cours de procédure, parce qu'un fait nouveau affecte l'objet du litige et lui enlève tout intérêt, le recours devient sans objet (<ref-ruling> consid. 1.3.1 et les références). La jurisprudence renonce exceptionnellement à l'exigence d'un intérêt actuel lorsque la contestation peut se reproduire en tout temps dans des circonstances identiques ou analogues, que sa nature ne permet pas de la trancher avant qu'elle ne perde son actualité et que, en raison de sa portée de principe, il existe un intérêt public suffisamment important à la solution de la question litigieuse (cf. <ref-ruling> consid. 1.3.1; arrêt 2C_867/2019 du 14 avril 2020 consid. 3.3).
En l'occurrence, la décision initiale prise par le conseil de direction de l'Etablissement scolaire le 28 janvier 2020 concernait une demande des recourants tendant à ce que leur fils puisse passer au niveau 2 de l'enseignement des mathématiques au second semestre de sa 9e année scolaire (2019-2020). Tel que l'a retenu le Tribunal cantonal, ce second semestre est toutefois terminé. On devrait donc considérer que les recourants ne bénéficient plus d'un intérêt actuel au recours, puisqu'un changement de niveau reste en principe possible à la fin de chaque semestre (cf. art. 90 al. 2 LEO/VD). Néanmoins, comme l'a également relevé l'autorité précédente, la Conseillère d'Etat vaudoise en charge du Département a rendu une décision générale (Décision n° 171), intitulée "Dispositions pour les élèves de l'école obligatoire, réglant les modalités exceptionnelles pour la promotion, l'orientation, la réorientation, la certification et l'admission en classe de raccordement et aux écoles de culture générale et de commerce des gymnases ou de maturité professionnelle (COVID-19) ", dans laquelle elle a en particulier décidé que "pour le cas où l'élève avait changé de niveau à l'issue du premier semestre, il reste orienté dans le même niveau pour le début de l'année scolaire 2020-2021" (ch. 5 3e point de la décision précitée). L'élève en cause n'ayant à ce jour pas terminé l'année scolaire 2020-2021, il convient par conséquent de considérer que les recourants, qui ont pris part à la procédure devant l'autorité précédente, bénéficient d'un intérêt juridique actuel à l'annulation de l'arrêt entrepris, sans qu'il soit donc nécessaire de déterminer s'il convient de renoncer exceptionnellement à l'exigence d'un intérêt actuel.
1.4. Le recours constitutionnel subsidiaire est ainsi recevable, sous réserve de ce qui suit.
Dans la mesure où les recourants s'en prennent à la décision de l'Etablissement scolaire du 28 janvier 2020, leur conclusion est irrecevable en raison de l'effet dévolutif complet du recours auprès du Département, puis du Tribunal cantonal (<ref-ruling> consid. 1.2). En outre, selon un principe général de procédure, les conclusions en constatation de droit ne sont recevables que lorsque des conclusions condamnatoires ou formatrices sont exclues. Sauf situations particulières, les conclusions constatatoires ont donc un caractère subsidiaire (cf. <ref-ruling> consid. 1.7 et les références). Dans la mesure où les recourants concluent, parallèlement à l'annulation de l'arrêt attaqué et au transfert de leur fils en niveau 2 de mathématiques, à diverses constatations de tous genres (cf. consid. C ci-dessus), ils formulent des conclusions constatatoires qui sont irrecevables.
2.
2.1. Le recours constitutionnel subsidiaire ne peut être formé que pour violation des droits constitutionnels (<ref-law>). En vertu de l'<ref-law>, applicable par renvoi de l'<ref-law>, les griefs y relatifs doivent être invoqués et motivés par le recourant, à savoir expressément soulevés et exposés de manière claire et détaillée, en précisant en quoi consiste la violation (cf. <ref-ruling> consid. 2.2). Celui-ci ne peut donc se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit remettre en cause les considérants de la décision attaquée sous des aspects relevant des droits constitutionnels (<ref-ruling> consid. 3; arrêt 2D_31/2018 du 1er février 2019 consid. 2.1).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut néanmoins rectifier ou compléter les constatations de cette autorité si les faits ont été constatés en violation d'un droit constitutionnel (<ref-law> cum <ref-law>), ce que le recourant doit démontrer d'une manière circonstanciée et précise, conformément aux exigences de motivation posées à l'<ref-law> (par renvoi de l'<ref-law>).
En l'espèce, les recourants sont d'avis que l'autorité précédente n'a à tort pas tenu compte d'un commentaire du conseil de classe rendu au terme du premier semestre de la 9e année scolaire de leur fils. Ils n'expliquent toutefois pas en quoi cet élément de fait serait pertinent pour l'issue du litige. Il n'en font d'ailleurs aucunement référence dans leur recours pour appuyer leurs différents griefs. Dans ces conditions, il ne saurait en être tenu compte. Le Tribunal fédéral appliquera donc le droit sur la seule base des faits retenus par le Tribunal cantonal.
3.
Dans un premier grief, les recourants se prévalent d'arbitraire dans l'application du droit cantonal, en particulier des art. 90 al. 1 et 109 al. 3 let. b LEO/VD, ainsi que du ch. 6.3 (recte: 8.2) du CGE.
3.1. Une décision est arbitraire (art. 9 Cst.) lorsqu'elle contredit clairement la situation de fait, qu'elle viole gravement une norme ou un principe juridique clair et indiscuté ou qu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. Il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 4.1 et les références).
3.2. En l'occurrence, l'autorité précédente a en tout premier lieu présenté les bases légales cantonales applicables. Ainsi, conformément à l'art. 90 al. 2 LEO/VD, dès la 9e année, au terme de chaque semestre, le conseil de direction peut transférer un élève d'un niveau à l'autre sur préavis de l'enseignant de la discipline concernée. Quant à l'art. 90 al. 1 LEO/VD, celui-ci prévoit notamment que le Département fixe les conditions de passage d'un niveau à l'autre. Sur cette base, le Département a arrêté le CGE, dont le ch. 6.3 ( recte : 8.2), intitulé passage du niveau 1 au niveau 2, prévoit qu'en fin de semestre et en fin d'année, un élève peut passer du niveau 1 au niveau 2 dans une discipline à niveaux lorsqu'il obtient une moyenne de 5,5 et plus dans cette discipline. Lorsque l'élève obtient une moyenne de 5 dans la discipline concernée, sur préavis de l'enseignant de la discipline concernée, l'élève peut également passer du niveau 1 au niveau 2. Finalement, à teneur de l'art. 109 al. 3 let. b LEO/VD, dès la 5e année, l'évaluation de l'acquisition des connaissances et des compétences est communiquée avec des notes, allant de 1 à 6, avec demi-points; à la fin de l'année, les notes font l'objet d'une moyenne par discipline établie au demi-point.
3.3. Fondé sur ces dispositions, le Tribunal cantonal a tout d'abord confirmé la moyenne de 5 obtenue par le fils des recourants, écartant divers arguments relatifs à la communication de notes, respectivement à une note obtenue à un travail écrit. Il a ensuite constaté qu'avec une moyenne de 5, le ch. 6.3 ( recte : 8.2) du CGE laissait un important pouvoir d'appréciation au conseil de direction, sur préavis de l'enseignant concerné. L'autorité précédente a jugé que le refus de changer l'élève de niveau reposait d'abord sur la moyenne insuffisante que celui-ci avait obtenue et qu'il était possible de tenir compte du fait que la moyenne de l'élève avait été arrondie à 5 mais était en réalité de 4,75, ce qui ne suffisait pas pour un changement au niveau 2. Le Tribunal cantonal a également pris en compte les explications de l'enseignante du fils des recourants, qui a justifié la décision de refus de changement de niveau en raison d'un "certain manque d'organisation en dépit des progrès accomplis". Il a finalement exclu toute situation d'inégalité de traitement avec un autre élève qui aurait passé du niveau 1 au niveau 2 en allemand avec une moyenne similaire, expliquant que la réglementation applicable permettait précisément au conseil de direction de tenir compte des circonstances particulières de chaque situation.
3.4. Les recourants estiment en bref qu'il est arbitraire, de la part du Tribunal cantonal, de retenir à plusieurs reprises que leur fils a obtenu une moyenne de 5 en mathématiques, puis ensuite de juger qu'en réalité c'est une moyenne de 4,75 qui est insuffisante pour passer au niveau 2. Selon eux, cela consiste notamment en une application arbitraire de l'art. 109 al. 3 let. b LEO/VD qui prévoit une notation au demi-point. Les recourants sont également d'avis que c'est à tort que l'autorité précédente a balayé leur grief de violation du principe de l'égalité de traitement.
3.5. On doit tout d'abord relever qu'il ne paraît pas insoutenable de retenir que le fils des recourants a obtenu une moyenne de 5 en mathématiques, puis, dans une appréciation globale de la situation de l'élève, de toutefois relativiser cette note en constatant qu'il s'agissait en réalité d'un 4,75. Une telle motivation ne constitue pas une application arbitraire de l'art. 109 al. 3 let. b LEO/VD, même si cette disposition prévoit des notes et des moyennes au demi-point. Il ne s'agit pas ici de contester la note en tant que telle, mais le passage de l'enfant à un niveau supérieur en mathématique, qui nécessite la prise en considération de plusieurs conditions.
Le passage du niveau 1 au niveau 2 au terme du premier semestre de la 9e année est en effet soumis à deux conditions cumulatives. Par conséquent, même si la condition de la moyenne de 5 devait être considérée comme étant remplie en l'espèce, force serait de constater qu'avec une telle moyenne, il faut également un préavis positif de l'enseignant concerné. Or, s'agissant du fils des recourants, son enseignante de mathématiques de 9e année a expressément refusé d'approuver le passage de celui-ci au niveau 2 en raison d'un certain manque d'organisation, évaluation qui n'a pas été contestée à suffisance par les recourants et dont il n'y a de toute façon pas lieu de retenir le caractère arbitraire. De plus, même à supposer qu'il ne soit pas possible de prendre en compte une moyenne de 4,75 pour la première condition posée pour le passage du niveau 1 au niveau 2, on doit cependant dans tous les cas considérer cette moyenne dans le cadre de l'appréciation globale des compétences de l'élève par l'enseignante. Or, un tel résultat, couplé avec le manque d'organisation constaté, tend à démontrer que le fils des recourants n'est pas encore prêt pour passer au niveau 2 de mathématiques. A ce propos, l'autorité précédente a d'ailleurs justement relevé qu'elle s'imposait une certaine retenue pour s'écarter de ce type d'appréciation, comme c'est d'ailleurs généralement la pratique dans ce genre de cas (cf. <ref-ruling> consid. 3.1; arrêt 2D_13/2010 du 22 juin 2010 consid. 3.3).
Ainsi, il n'est aucunement arbitraire de confirmer le refus du passage du niveau 1 au niveau 2 du fils des recourants en mathématiques, lorsque, malgré une moyenne de 5, l'enseignant considère que celui-ci n'est pas prêt à suivre un enseignement de niveau supérieur et qu'il est à la limite inférieure de la moyenne admissible pour changer de niveau. Dans ces conditions, le grief d'application arbitraire du droit cantonal doit être écarté.
4.
Dans un second grief, citant l'art. 8 al. 2 Cst., les recourants se prévalent d'une discrimination en raison du handicap de leur fils.
4.1. Selon l'art. 8 al. 2 Cst., nul ne doit subir de discrimination du fait notamment de son origine, de sa race, de son sexe, de son âge, de sa langue, de sa situation sociale, de son mode de vie, de ses convictions religieuses, philosophiques ou politiques ni du fait d'une déficience corporelle, mentale ou psychique.
Une discrimination au sens de l'art. 8 al. 2 Cst. est réalisée lorsqu'une personne est juridiquement traitée de manière différente, uniquement en raison de son appartenance à un groupe déterminé historiquement ou dans la réalité sociale contemporaine, mise à l'écart ou considérée comme de moindre valeur. La discrimination constitue une forme qualifiée d'inégalité de traitement de personnes dans des situations comparables, dans la mesure où elle produit sur un être humain un effet dommageable, qui doit être considéré comme un avilissement ou une exclusion, car elle se rapporte à un critère de distinction qui concerne une part essentielle de l'identité de la personne intéressée ou à laquelle il lui est difficilement possible de renoncer (<ref-ruling> consid. 2.3.1).
4.2. Selon les recourants, leur fils a obtenu une moyenne de 5 en mathématiques qui lui permettrait d'augmenter de niveau dans cette matière. S'ils ne requièrent aucun traitement privilégié pour leur enfant, ils souhaitent en revanche que celui-ci soit jugé selon ses compétences et capacités et que l'accès à des études supérieures ne lui soit pas refusé au motif de son handicap. Les recourants sont d'avis que le préavis de l'enseignante de leur fils, retenant que celui-ci présente un certain manque d'organisation en dépit des progrès accomplis, constitue une motivation discriminatoire. Selon eux, c'est en raison du trouble de l'attention et de la dyslexie de leur enfant que cette enseignante a formulé un tel préavis. Ils affirment à ce propos qu'un camarade de classe de leur fils, qui a obtenu une moyenne semblable à celui-ci en allemand, mais dépourvu de tout handicap, a pu passer au niveau supérieur, dès lors qu'il n'aurait pas eu à fournir des efforts comparables.
4.3. A l'instar de ce qu'a retenu le Tribunal cantonal à propos de l'art. 8 al. 2 Cst., il convient de mentionner que le préavis de l'enseignante ne fait en rien mention du handicap du fils des recourants. Son avis porte bien plus sur les compétences de l'élève à suivre l'enseignement des mathématiques à un niveau supérieur à la fin du premier semestre de la 9e année, déniant cette capacité en raison d'un manque d'organisation. Rien ne permet de retenir que ce manque d'organisation est en lien direct avec le trouble du déficit de l'attention ou la dyslexie de l'élève. Il faut en revanche relever que le fils des recourants bénéficie d'aménagements dans sa scolarité, notamment au travers de l'utilisation d'un ordinateur et de logiciels particuliers, ainsi que de temps supplémentaire pour accomplir certains travaux. Le préavis de l'enseignante, qui intervient dans le cadre d'une scolarisation ordinaire de cet enfant, tient compte de ces aménagements et des réquisits pour passer au niveau 2 en mathématiques. Malgré cela, elle a considéré que son élève présentait un manque d'organisation qui ne lui permettait pas de changer de niveau.
On ajoutera pour terminer qu'il ne ressort pas des faits de l'arrêt entrepris que le camarade de classe du fils des recourants aurait rencontré de problèmes particuliers, qu'ils soient d'organisation ou autres. Il a donc bénéficié d'un préavis positif de son enseignant d'allemand pour changer de niveau dans cette branche. S'il n'a certes probablement pas dû fournir des efforts comparables à ceux produits par l'enfant des recourants en raison du handicap de celui-ci, force est de constater que les aménagements dont cet enfant bénéficie sont justement là pour équilibrer les efforts consentis et le mettre sur un pied d'égalité avec ses camarades, étant rappelé qu'il suit une scolarité ordinaire sans adaptation d'objectifs. Il convient dès lors d'écarter le grief de l'interdiction de discrimination.
5.
Les considérants qui précèdent conduisent au rejet du recours, dans la mesure où celui-ci est recevable. Le recours étant d'emblée dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Succombant, les recourants doivent supporter les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué à la mandataire des recourants, à l'Etablissement primaire et secondaire de D._, au Département de la formation, de la jeunesse et de la culture et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 24 mars 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette