Faits :
A.
A.a. Dès septembre 2014, A.C._, née le 27 novembre 2011, fille de A.A._ et A.B._, a été scolarisée au sein de l'École B._ (ci-après: l'École), société ayant pour but la formation scolaire et musicale des enfants du degré primaire.
Le 20 juin 2017, les époux A._ ont signé un formulaire établi par l'École prévoyant l'inscription de leur fille pour l'année scolaire 2017/2018. A teneur dudit document, " les frais de scolarité " comprenaient une taxe unique d'inscription de 200 fr., des frais annuels d'écolage de 10'000 fr., payables en dix mensualités de 1'000 fr., des frais de matériel de 500 fr. dès la 3P, ainsi que des frais optionnels pour la surveillance des repas (90 fr. par mois), pour des leçons privées de piano (260 fr. par mois) et pour la garderie/études jusqu'à 17h00 (260 fr. par mois). Les conditions générales, mentionnées comme figurant au dos du formulaire d'inscription, indiquaient notamment qu'en cas de " départ ou de renvoi durant l'année scolaire, le trimestre en cours et les deux mois suivants [étaient] dus ". Elles prévoyaient en outre que l'inscription aux repas et aux cours privés de piano valait pour le trimestre complet et qu'une annulation durant le trimestre ne donnait droit à aucune réduction.
Les époux A._ ont opté pour des leçons privées de piano, la prise en charge de leur fille pour les repas de midi et la garderie/études jusqu'à 17h00, raison pour laquelle ils devaient s'acquitter de frais de scolarité mensuels de 1'610 fr. (1'000 fr. + 260 fr. + 90 fr. + 260 fr.).
A.b. Le 25 septembre 2017, les époux A._ ont fait savoir à l'École qu'ils souhaitaient que leur fille quitte l'établissement scolaire. Cette dernière ne l'a plus fréquenté après le 27 septembre 2017.
A.c. Le 9 octobre 2017, l'École a transmis aux époux A._ une facture de 8'050 fr., correspondant aux montants dus pour le " trimestre en cours plus deux mois selon les options retenues ", soit 5'000 fr. de frais d'écolage (1'000 fr. x 5 mois), 450 fr. pour les frais de repas (90 fr. x 5 mois), 1'300 fr. pour la garderie/études (260 fr. x 5 mois) et 1'300 fr. pour les coûts relatifs aux leçons privées de piano (260 fr. x 5 mois).
A.d. Le 11 novembre 2017, A.A._ a avisé l'école que la somme de 8'050 fr. avait été consignée en mains d'un huissier judiciaire.
Par courrier non daté, mais vraisemblablement rédigé le 21 novembre 2017, les époux A._ ont adressé divers reproches à l'École au sujet de l'enseignement dispensé par elle. Ils lui faisaient notamment grief de n'avoir pas respecté sa promesse faite en juin 2017, lors de la réinscription de leur fille pour l'année scolaire suivante, selon laquelle les élèves de 3P, à l'instar de leur fille, devaient intégrer la classe " des grands " lors de la rentrée scolaire 2017/2018, ce qui n'avait pas été le cas. Ils considéraient dès lors être déliés de l'ensemble de leurs obligations financières à l'égard de l'établissement scolaire.
A.e. Après une mise en demeure restée vaine, l'École a fait notifier, le 27 février 2018, à chacun des époux A._, un commandement de payer à concurrence de 8'050 fr., intérêts en sus. Les deux poursuivis ont formé opposition.
La requête de mainlevée provisoire des oppositions précitées a été rejetée par le Tribunal de première instance du canton de Genève en date du 20 mars 2019.
B.
Après une tentative de conciliation infructueuse initiée le 10 juillet 2019, l'École a saisi, en date du 23 octobre 2019, le Tribunal de première instance genevois d'une demande tendant à ce que les époux A._ soient condamnés solidairement à lui payer la somme de 8'050 fr., intérêts en sus.
Les défendeurs ont conclu au rejet de la demande.
Au cours de l'audience tenue le 10 juin 2019, la directrice de la demanderesse a déclaré que, pour ouvrir cette école, elle avait obtenu une autorisation délivrée par le Département genevois de l'instruction publique (ci-après: DIP) en présentant les diplômes de chaque intervenant, un projet et un programme des activités pour tous les degrés. De plus, le Service des écoles privées contrôlait l'école chaque année. Celle-ci était composée de deux classes, soit une pour " les petits " et une autre pour les élèves de 4P à 8P. Selon le nombre d'élèves inscrits dans la première catégorie, les élèves de 3P pouvaient se trouver dans l'une ou l'autre des classes. Le délai d'inscription s'achevant fin août, il n'était jamais possible de prédire dans quelle classe seraient placés les élèves de 3P. Les parents étaient uniquement assurés que leur enfant bénéficierait d'une place au sein du degré correspondant aux résultats de leur progéniture. Au vu du nombre d'inscriptions en juin 2017, la direction avait pensé que les élèves de 3P seraient placés dans la classe des " grands " pour la rentrée scolaire 2017/2018. Cependant, beaucoup d'élèves s'étaient inscrits en juillet et août 2017, raison pour laquelle les élèves de 3P étaient restés dans la classe des " petits ". Pour ladite classe, il y avait une enseignante pour douze à quinze élèves, tandis que pour celle des " grands ", il y avait deux enseignantes quand il y avait 16 élèves et une seule lorsqu'il y avait moins de dix élèves. Ce système était expliqué aux parents lors de l'inscription de leurs enfants. Le DIP contrôlait l'activité de l'école et savait qu'un enseignant s'occupait de plusieurs degrés à la fois.
En cours de procédure, la demanderesse a produit le certificat PROCERT, attestant que celle-ci répondait aux exigences du standard du " Système de qualité pour des institutions scolaires d'enseignement général et professionnel ". Elle a en outre transmis au tribunal son autorisation d'exploiter une école privée délivrée le 22 novembre 2002 par le DIP.
Lors de l'audience du 14 septembre 2020, l'autorité de première instance a été informée que la demanderesse était entrée en liquidation à la suite de sa dissolution décidée le 15 juin 2020. Elle a procédé à l'audition des parties et de trois témoins. Lors de son audition au cours de ladite audience, A.B._ a notamment déclaré que les deux premières années de sa fille au sein de l'établissement scolaire s'étaient déroulées à la satisfaction de son époux et d'elle-même, de sorte qu'ils avaient décidé, en juin 2017, d'y poursuivre la scolarisation de leur fille. Lors de la fête de fin d'année, une enseignante de l'établissement lui avait indiqué que sa fille serait scolarisée avec les " plus grands ", ce qui n'avait pourtant pas été le cas. Un entretien avait eu lieu le 21 septembre 2017 avec le corps enseignant, au cours duquel aucune solution n'avait pu être trouvée. Les époux A._ avaient dès lors décidé de retirer leur fille de l'école.
Par jugement du 30 novembre 2020, le Tribunal de première instance genevois a condamné les défendeurs, solidairement entre eux, à payer à la demanderesse la somme de 8'050 fr., intérêts en sus. En bref, il a retenu que les parties avaient conclu un contrat d'enseignement, soit un contrat mixte auquel les règles du mandat, en particulier celles relatives à la résiliation, étaient applicables. Il a estimé que la résiliation dudit contrat par les défendeurs, au début de l'année scolaire, était intervenue en temps inopportun au sens de l'<ref-law>. L'autorité de première instance a considéré que les défendeurs ne disposaient d'aucun motif sérieux leur permettant de résilier le contrat d'enseignement au cours de l'année scolaire, raison pour laquelle ils étaient tenus d'indemniser la demanderesse. Les défendeurs connaissaient en effet le fonctionnement de l'école depuis plusieurs années, et notamment le fait que différents niveaux scolaires étaient réunis au sein d'une même classe sous la supervision d'un seul enseignant. Par ailleurs, ils n'avaient pas reçu d'engagement ferme de la part de la demanderesse quant au fait que leur fille serait placée dans la classe regroupant les élèves plus âgés, dès lors qu'il s'agissait d'une question d'organisation liée au nombre d'inscriptions. Les considérations émises par les défendeurs et l'un des témoins au sujet de l'absence de conformité du programme des cours et de qualification des enseignants ne reposaient sur aucun fondement. Le DIP avait autorisé l'activité de la demanderesse, laquelle avait du reste été certifiée par l'organisme PROCERT. Le DIP et le Service de l'enseignement privé effectuaient en outre des contrôles réguliers. Enfin, le Tribunal de première instance a estimé que la clause pénale figurant dans les conditions générales du contrat litigieux, prévoyant une indemnisation correspondant à cinq mois de frais d'écolage, n'était pas excessive.
Saisie d'un recours formé par les défendeurs, la Chambre civile de la Cour de justice du canton de Genève, statuant par arrêt du 28 septembre 2021, l'a rejeté. Les motifs qui étayent cette décision seront exposés plus loin dans la mesure utile à la compréhension des griefs dont celle-ci est la cible.
C.
Le 5 novembre 2021, les défendeurs (ci-après: les recourants) ont formé un recours constitutionnel subsidiaire, assorti d'une requête d'effet suspensif, dans lequel ils concluent à la réforme de l'arrêt précité en ce sens que la demanderesse (ci-après: l'intimée) est entièrement déboutée de ses conclusions.
La requête d'effet suspensif a été rejetée par ordonnance du 10 novembre 2021.
Le Tribunal fédéral n'a pas requis le dépôt d'une réponse au recours.

Considérant en droit :
1.
1.1. La valeur litigieuse de cette affaire civile pécuniaire n'atteint pas le seuil de 30'000 fr. exigé par l'<ref-law> pour la recevabilité du recours en matière civile. Les recourants admettent par ailleurs implicitement qu'aucune des exceptions prévues par l'<ref-law> n'est réalisée. Partant, seul le recours constitutionnel subsidiaire est ouvert (<ref-law>).
1.2. Le recours a été déposé en temps utile (art. 117 et 100 LTF) contre une décision finale (art. 117 et 90 LTF) prise en dernière instance cantonale et sur recours par un tribunal supérieur (art. 114 et 75 LTF), par des parties qui ont pris part à la procédure devant l'autorité précédente et ont un intérêt juridique à la modification de la décision (<ref-law>). Le recours constitutionnel subsidiaire est dès lors recevable. Demeure réservé l'examen de la recevabilité des griefs invoqués par les recourants.
2.
2.1. Comme son nom l'indique, le recours constitutionnel subsidiaire peut être formé uniquement pour violation des droits constitutionnels (<ref-law>). Pour ce type de grief prévaut une exigence de motivation accrue. Selon le principe d'allégation, la partie recourante doit indiquer quel droit ou principe constitutionnel a été violé, en expliquant de façon circonstanciée en quoi réside la violation (<ref-law>, applicable par analogie en vertu de l'<ref-law>; <ref-ruling> consid. 2.2; <ref-ruling> consid. 3.2).
Lorsqu'elle soulève le grief d'arbitraire (art. 9 Cst.) dans l'application du droit, la partie recourante ne peut se contenter de plaider que la décision attaquée serait arbitraire. Elle doit expliquer, sur la base de la subsomption opérée dans le cas concret, en quoi la décision attaquée méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou encore heurte de manière choquante le sentiment de la justice et de l'équité. L'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution serait concevable, voire préférable. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si la décision entreprise apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. Il ne suffit pas que les motifs de la décision soient insoutenables; encore faut-il que celle-ci soit arbitraire dans son résultat (<ref-ruling> consid. 2; <ref-ruling> consid. 4.1; <ref-ruling> consid. 2.1; <ref-ruling> consid. 3.2.5; <ref-ruling> consid. 4.2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut rectifier ou compléter les constatations de l'autorité précédente si les faits ont été établis en violation du droit au sens de l'<ref-law> (<ref-law>), c'est-à-dire s'ils sont arbitraires au sens de l'art. 9 Cst. La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références citées). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (ATF <ref-ruling> consid. 1.3.1 et les références citées). Si elle souhaite obtenir un complètement de l'état de fait, elle doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes, en conformité avec les règles de la procédure, les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (ATF <ref-ruling> consid. 1.3.1). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3).
Concernant l'appréciation des preuves, le Tribunal fédéral n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 4.2; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.3; <ref-ruling> consid. 1.4.3; <ref-ruling> consid. 2.1). Il ne suffit pas qu'une appréciation différente puisse être tenue pour également concevable, ou apparaisse même préférable (<ref-ruling> consid. 7.3; <ref-ruling> consid. 4.3; <ref-ruling>7 consid. 2.1).
3.
Les parties ne remettent pas en cause qu'elles ont conclu un contrat d'enseignement que le Tribunal fédéral qualifie de contrat mixte auquel les règles du mandat sont en principe applicables, et en particulier l'<ref-law> qui a trait au pouvoir pour chaque partie de résilier unilatéralement le mandat (arrêts 4A_601/2015 du 19 avril 2016 consid. 1.2.1; 4A_141/2011 du 6 juillet 2011 consid. 2.2; 4A_237/2008 du 29 juillet 2008 consid. 3.2).
L'<ref-law> prévoit que la partie qui révoque ou répudie le contrat en temps inopportun doit indemniser l'autre du dommage qu'elle lui cause. Pour que cette disposition soit applicable, il faut en particulier que le mandataire n'ait fourni à son cocontractant aucun motif sérieux de résilier. La résiliation intervient sans motif sérieux si l'on ne discerne pas de circonstances qui soient de nature, d'un point de vue objectif, à rendre insupportable la continuation du contrat, en particulier à rompre le rapport de confiance avec le cocontractant (<ref-ruling> consid. 5.2; arrêts 4A_129/2017 du 11 juin 2018 consid. 7; 4A_601/2015, précité, consid. 1.2.1; 4A_36/2013 du 4 juin 2013 consid. 2.5).
Il a déjà été jugé qu'un contrat d'enseignement est résilié en temps inopportun au sens de l'<ref-law> si la résiliation a lieu au milieu d'un semestre (arrêt 4A_141/2011, précité, consid. 2.4) ou après le terme butoir fixé par les conditions générales de l'école pour l'inscription d'un élève à une nouvelle année scolaire sans motif sérieux (arrêt 4A_601/2015, précité, consid. 1.2.1).
Le dommage à indemniser est celui que la partie subit du fait du moment où la résiliation est intervenue et en raison des dispositions qu'elle avait prises pour l'exécution du mandat (<ref-ruling> consid. 3b; <ref-ruling> consid. 4c; arrêt 4A_36/2013, précité, consid. 2.5). Il s'agit de l'intérêt que cette partie avait à ne pas conclure le contrat (intérêt négatif). Elle n'a certes pas droit à être indemnisée de l'intérêt qu'elle avait à la poursuite du contrat (intérêt positif; arrêt 4A_284/2013 du 13 février 2014 consid. 3.6.1), mais lorsque le mandat a été conclu pour une certaine durée et qu'il est établi que la partie dont le contrat est résilié a pris des dispositions pour exécuter ce mandat et, par là, a renoncé à d'autres sources de revenus, ces éléments sont constitutifs de son intérêt négatif (arrêt 4A_129/2017 du 11 juin 2018 consid. 7.1).
Selon la jurisprudence du Tribunal fédéral, il est admissible de prévoir une clause pénale pour le cas où un mandat est résilié en temps inopportun tel que l'entend l'<ref-law> (<ref-ruling> consid. 3a; <ref-ruling> consid. 4; arrêts 4A_601/2015, précité, consid. 1.2.2; 4A_141/2011, précité, consid. 2.4).
4.
Se plaignant en premier lieu d'un établissement des faits et d'une appréciation des preuves arbitraires et dénonçant une application arbitraire du droit, les recourants font grief à la cour cantonale d'avoir retenu, de façon insoutenable, qu'aucune circonstance n'était de nature à rendre insupportable la poursuite du contrat d'enseignement. A cet égard, ils font valoir que l'autorisation d'exploiter délivrée par le DIP n'est pas un gage de qualité de l'enseignement dispensé par l'intimée, pas plus d'ailleurs que le certificat PROCERT, lequel atteste uniquement du niveau de management de celle-ci. La juridiction cantonale aurait ainsi sombré dans l'arbitraire en niant l'existence de circonstances susceptibles de rendre insupportable la continuation du contrat.
Par leur critique au ton appellatoire marqué, les recourants ne font rien d'autre que d'opposer leur propre appréciation des preuves à celle de la cour cantonale, ce qui n'est pas admissible. Quoi qu'il en soit, leur démonstration ne permet nullement de retenir que les juges précédents auraient sombré dans l'arbitraire. En effet, les intéressés font une lecture par trop réductrice des considérations émises par la cour cantonale sur le problème considéré. Celle-ci ne s'est en effet pas fondée exclusivement sur les certificats remis à l'intimée pour apprécier la qualité de l'enseignement dispensé par elle. La juridiction cantonale a en effet relevé que les critiques formulées par les recourants et un témoin n'étaient pas suffisantes pour admettre une absence de conformité du programme de l'intimée et une qualification déficiente des enseignants. Elle a souligné que les recourants avaient inscrit leur fille auprès de l'intimée durant plusieurs années soit dès septembre 2014. Si la cour cantonale a certes mentionné que l'intimée avait obtenu une autorisation d'exploiter une école privée et reçu le certificat PROCERT, elle a également insisté sur le fait que l'intimée était régulièrement contrôlée par le DIP. Sur la base de ces différents éléments, elle a considéré que l'existence de circonstances susceptibles de rendre la poursuite du contrat d'enseignement insupportable n'était pas établie. Une telle appréciation, sur la base des preuves disponibles, n'apparaît pas arbitraire ni même critiquable.
5.
Dans un second moyen, les recourants, invoquant les art. 6 CEDH et et 29 al. 2 Cst., se plaignent d'une violation de leur droit d'être entendus et de leur droit à la preuve, au motif que l'audition d'un témoin qu'ils avaient requise aurait été refusée uniquement par souci d'économie de la procédure.
5.1. Le droit à la preuve - qui découle tant du droit d'être entendu garanti par l'art. 29 al. 2 Cst. que, en droit privé fédéral, de l'<ref-law> et qui est également consacré à l'<ref-law> -, octroie à toute personne à laquelle incombe le fardeau de la preuve le droit, pour établir un fait pertinent contesté, de faire administrer les moyens de preuve adéquats, pour autant qu'ils aient été proposés régulièrement et en temps utile (<ref-ruling> consid. 9.3.2; <ref-ruling> consid. 7.1; arrêt 4A_280/2020 du 3 mars 2021 consid. 8.1).
En revanche, le droit à la preuve n'est pas mis en cause lorsque le juge, par une appréciation anticipée, arrive à la conclusion que la mesure requise n'apporterait pas la preuve attendue, ou ne modifierait pas la conviction acquise sur la base des preuves déjà recueillies (<ref-ruling> consid. 9.3.2; <ref-ruling> consid. 6.3.1; <ref-ruling> consid. 4.3.2). Le recourant doit alors invoquer l'arbitraire (art. 9 Cst.) dans l'appréciation des preuves, en motivant son grief conformément aux exigences plus strictes de l'<ref-law> (ATF <ref-ruling> consid. 4.3.2; <ref-ruling> consid. 4.1.2; <ref-ruling> consid. 2.2).
5.2. Lorsqu'ils dénoncent une prétendue violation de leur droit d'être entendus et de leur droit à la preuve, les recourants se plaignent, en réalité, de l'appréciation anticipée des preuves ayant conduit les autorités précédentes à refuser d'ordonner l'audition requise. Il n'est dès lors pas ici question du droit à la preuve, mais bien de l'appréciation des preuves effectuée par les magistrats cantonaux. Aussi le grief tiré de la violation du droit à la preuve manque-t-il sa cible. La critique des recourants est par conséquent irrecevable.
En tout état de cause, l'affirmation des recourants selon laquelle l'audition en question aurait été " refusé[e] uniquement par souci d'économie de procédure ", est non seulement inexacte mais surtout impropre à démontrer que l'appréciation anticipée critiquée serait éventuellement entachée d'arbitraire. La cour cantonale a en effet considéré que l'appréciation anticipée des preuves ayant conduit les premiers juges à renoncer à ladite audition n'était pas arbitraire au vu des preuves déjà recueillies, étant précisé qu'un autre témoin avait déjà été entendu au sujet des mêmes allégués.
6.
Au vu de ce qui précède, le recours constitutionnel subsidiaire, manifestement mal fondé aux termes de l'<ref-law>, doit être rejeté dans la mesure de sa recevabilité.
Les recourants, qui succombent, supporteront les frais judiciaires solidairement entre eux (art. 66 al. 1 et 5 LTF). Ils n'auront pas à verser de dépens à l'intimée dès lors que celle-ci n'a pas été invitée à déposer une réponse.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis solidairement à la charge des recourants.
3.
Le présent arrêt est communiqué aux mandataires des parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 8 décembre 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
Le Greffier : O. Carruzzo