Faits:
A. Né en 1992, A.X._ est entré en août 2008 au gymnase de Beaulieu en voie maturité. A l'issue de l'année scolaire 2008-2009, il s'est trouvé en situation d'échec. Selon son bulletin annuel du 18 juin 2009, il a obtenu un total de 38.5 points sur un minimum de 40 points, ainsi qu'un total des notes du groupe de 14.5 points sur un minimum exigé de 16 points, dont 4 notes insuffisantes.
Statuant sur recours à l'encontre de la décision du 18 juin 2009, la Cheffe du Département cantonal vaudois de la formation, de la jeunesse et de la culture (ci-après le Département), par décision du 22 juillet 2009, a considéré qu'un redoublement se justifiait.
A.X._ a commencé l'année scolaire 2009-2010 en tant qu'élève conditionnel au premier semestre. Selon le bulletin final du premier semestre du 22 janvier 2010, les résultats de A.X._ étaient insuffisants, dans la mesure où il a obtenu un total de 41 points sur un minimum de 40, mais 15.5 points du groupe sur un minimum de 16, dont 2 notes insuffisantes sur un maximum de 4, soit 3.5 en allemand et 3.5 en option spécifique.
B. Le 22 janvier 2010, la Conférence des maîtres du gymnase de Beaulieu s'est penchée sur le cas du recourant. Comme il ne lui manquait qu'un demi-point dans les notes du groupe, la Conférence des maîtres s'est demandée s'il se justifiait d'octroyer à cet élève un demi-point de faveur. Suivant l'avis du conseil de classe, la Conférence des maîtres a décidé de ne pas décerner à A.X._ le demi-point de faveur, mais de lui conseiller un passage en 1C (école de culture générale et de commerce).
Le 25 janvier 2010, les résultats et la décision de la Conférence des maîtres ont été communiqués aux parents de A.X._, avec l'indication que l'élève n'était pas autorisé à continuer sa classe et devait quitter le gymnase, à moins qu'il ne sollicite un passage de l'école de maturité à l'école de culture générale et de commerce.
Le 4 mars 2010, la Cheffe du Département a rejeté le recours et confirmé la décision de la Conférence des maîtres communiquée le 25 janvier 2010.
Statuant sur recours à l'encontre de la décision du Département du 4 mars 2010, le Tribunal cantonal vaudois (Cour de droit administratif et public) a, par arrêt du 28 mai 2010, rejeté le recours et confirmé la décision attaquée. L'effet suspensif avait été accordé au recours, de sorte que A.X._ a été autorisé à poursuivre sa formation.
C. Contre l'arrêt du 28 mai 2010, A.X._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire au Tribunal fédéral. Il conclut à l'admission du recours, à l'annulation de l'arrêt attaqué et, par voie de conséquence, de la décision de la Cheffe du Département du 4 mars 2010; il demande à être autorisé à poursuivre sa formation auprès du gymnase de Beaulieu en section maturité. Il sollicite par ailleurs l'octroi de l'effet suspensif.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement sa compétence, respectivement la recevabilité des recours qui lui sont soumis (art. 29 al. 1 LTF; ATF 135 II 22 consid. 1 p. 37).
1.1 Le recourant a déposé dans la même écriture à la fois un recours en matière de droit public et un recours constitutionnel subsidiaire (cf. art. 119 LTF). Ce dernier n'étant ouvert qu'à la condition que la décision attaquée ne puisse faire l'objet d'aucune voie de droit ordinaire (cf. art. 113 LTF), il convient d'examiner en premier lieu la recevabilité du recours en matière de droit public.
1.2 En vertu de l'art. 83 let. t LTF, le recours en matière de droit public n'est pas ouvert à l'encontre des décisions sur le résultat d'examens ou d'autres évaluations des capacités, notamment en matière de scolarité obligatoire, de formation ultérieure ou d'exercice d'une profession. Le motif d'irrecevabilité contenu dans cette disposition dépend en principe de la matière et non du grief soulevé (voir notamment arrêts 2C_40/2010 du 28 mai 2010 consid. 1.1; 2C_762/2009 du 11 février 2010 consid. 1.1; 2D_57/2009 du 3 décembre 2009 consid. 1.2). L'art. 83 let. t LTF vise non seulement le résultat d'examens au sens étroit, mais encore toutes les évaluations de capacité qui reposent sur une appréciation des aptitudes intellectuelles ou physiques du candidat (ATF 136 II 61 consid. 1.1.1 p. 63; arrêt 2C_762/2009 du 11 février 2010 consid. 1.1; 2C_438/2008 du 16 octobre 2008 consid. 2.1).
En l'espèce, l'arrêt entrepris confirme la décision du Département refusant d'accorder au recourant, dont les résultats scolaires sont insuffisants pour lui permettre de continuer dans la voie menant à la maturité, un demi-point de faveur. Ce refus a été décidé en tenant compte du potentiel scolaire et des problèmes de l'élève. Il en découle que la décision attaquée est liée à l'évaluation des capacités du recourant. Par voie de conséquence, elle tombe sous le coup de l'exception de l'art. 83 let. t LTF et ne peut être attaquée par la voie du recours en matière de droit public.
1.3 Reste à se demander si le recours constitutionnel subsidiaire, également interjeté par le recourant, est recevable.
1.3.1 Selon l'art. 115 LTF, le recourant ayant pris part à la procédure devant l'autorité précédente (let. a) a qualité pour former un recours constitutionnel subsidiaire s'il possède un intérêt juridique à l'annulation ou à la modification de la décision attaquée (let. b). Selon la jurisprudence, la seule protection contre l'arbitraire ne constitue pas un intérêt juridique protégé par l'art. 115 let. b LTF, de nature à ouvrir la voie du recours constitutionnel subsidiaire. Pour s'en prendre au fond, il faut que le recourant puisse se prévaloir d'une situation juridique protégée par la loi ou par un droit fondamental spécifique (ATF 133 I 185 consid. 5 et 6 p. 193 ss; en matière d'évaluation des capacités, cf. arrêt 2D_76/2009 du 15 mai 2010, destiné à la publication, consid. 3.2). Il en va de même du grief d'inégalité de traitement (arrêt 2C_638/2007 du 7 avril 2008 consid. 3.2 et 3.6)
Indépendamment de sa légitimation au fond, le recourant peut toutefois se plaindre, sous l'angle de l'art. 115 let. b LTF, d'une violation de ses droits de partie dont la violation équivaut à un déni de justice formel (ATF 133 II 249 E. 1.3.2 in fine p. 253; 133 I 185 E. 6.2 S. 198 ff.).
1.3.2 Il ressort des faits que le recourant a redoublé sa première année gymnasiale. En vertu de l'art. 71 al. 1 du règlement des gymnases adopté par le Conseil d'Etat du canton de Vaud le 13 août 2008 (RGY; RS/VD 412.11.1), un élève qui répète la première ou la deuxième année doit obtenir un bulletin suffisant au premier semestre, faute de quoi il n'est pas autorisé à continuer sa classe. Il n'est pas contesté que le recourant ne remplit pas ces conditions, mais de peu, puisqu'il ne lui manque que 0.5 point sur les branches du groupe, de sorte qu'il constitue un cas-limite selon la terminologie dudit règlement. Dans une telle situation, l'art. 71 al. 3 RGY prévoit que la Conférence des maîtres apprécie les cas-limites ou les circonstances particulières. En d'autres termes, la Conférence des maîtres peut, sur la base de cette disposition, déroger à l'art. 71 al. 1 RGY si elle l'estime justifié en permettant à un élève de continuer sa classe, même si celui-ci ne remplit pas les conditions légales l'y autorisant. Cette compétence relève du pouvoir d'appréciation de la Conférence des maîtres et l'élève dont le cas est examiné en vertu de l'art. 71 al. 3 RGY ne peut prétendre à aucun droit découlant de la législation cantonale à être maintenu dans sa classe, ce que le recourant n'invoque au demeurant nullement. Il ne peut non plus déduire un tel droit de l'art. 19 Cst., qui ne vise que l'enseignement de base, soit l'école obligatoire, ni de l'art. 11 Cst., qui ne permet en principe pas non plus de prétendre à un traitement particulier sur le plan scolaire (cf. arrêt 2C_638/2007, précité, consid. 3.4). Partant, le recourant n'est pas légitimé à se plaindre, dans le cadre d'un recours constitutionnel subsidiaire, de la décision au fond.
1.3.3 Ce n'est que dans la mesure où le recourant invoque une violation de son droit d'être entendu au sens de l'art. 29 al. 2 Cst. que sa qualité pour déposer un recours constitutionnel subsidiaire peut être admise (cf. supra consid.1.3.1 in fine).
Le Tribunal fédéral n'examine cependant un tel moyen que s'il est formulé conformément aux exigences de motivation découlant de l'art. 42 LTF, ainsi qu'aux exigences spécifiques prévues à l'art. 106 al. 2 LTF, applicable par renvoi de l'art. 117 LTF (cf. ATF 133 III 639 consid. 2 p. 639 s.; 133 II 249 consid. 1.4.2 p. 254). Il appartient ainsi au recourant notamment de démontrer en quoi, selon lui, la décision attaquée viole le droit constitutionnel dont il se prévaut (cf. art. 42 al. 2 LTF). La motivation présentée à l'appui du grief de violation du droit d'être entendu ne remplit pas ces exigences. Le recourant soutient tout d'abord que ni lui ni ses parents n'ont été entendus par la conférence des maîtres. Il avait déjà formulé ce grief devant le Tribunal cantonal et l'arrêt attaqué s'est prononcé sur la question. Il lui appartenait donc de critiquer la position des juges cantonaux à ce sujet, ce qu'il ne fait nullement, se contentant d'affirmer que "le tribunal d'instance inférieure se méprend lorsqu'il prétend que le droit d'être entendu n'a pas été violé". Une telle motivation n'est pas suffisante. Ensuite, le recourant se plaint de ce que "la décision rendue d'expulsion viole la décision 104 puisqu'elle n'est pas motivée et ne contient aucun motif". Une telle critique, dont on ne saisit pas à quel passage de l'arrêt attaqué elle se rapporte, n'est pas compréhensible et ne saurait davantage suffire en regard de l'art. 106 al. 2 LTF.
1.4 Dans ces circonstances, tant le recours en matière de droit public que le recours constitutionnel subsidiaire doivent être déclarés irrecevables.
2. Les frais judiciaires seront mis à la charge du recourant (cf. art. 66 al. 1 LTF). Il ne sera pas alloué de dépens (cf. art. 68 al. 3 LTF).
Compte tenu de l'issue du litige, la demande d'effet suspensif devient sans objet.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public et le recours constitutionnel subsidiaire sont irrecevables.
2. Des frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Département de la formation, de la jeunesse et de la culture, à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud et à la Conférence des maîtres du Gymnase de Beaulieu.
Lausanne, le 13 juillet 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Vianin