Faits:
A. En septembre 2007, X._ a débuté des études d'agronomie à l'Ecole d'ingénieurs de Lullier, devenue la Haute école du paysage, d'ingénierie et d'architecture de Genève (ci-après: la Haute école). Au terme de sa 3e année d'études, X._ a obtenu une moyenne de 3,9 sur 6 pour le module obligatoire de gestion administrative, soit 4,5 pour le cours de gestion d'entreprise et 3,3 pour le cours de gestion de mandat, entraînant une situation d'échec.
Lors de la session de rattrapage du 2 septembre 2010, X._ a été autorisé à repasser l'examen écrit "gestion de mandat", sur l'énoncé duquel figurait en caractères gras la mention "Répondre directement et lisiblement sur les feuilles d'examens sans aide extérieure". Au cours de l'examen, la surveillante a surpris X._ en train de consulter des documents contenant des éléments du support de cours, ainsi que les notes d'un camarade. Ces documents ont été confisqués et l'étudiant a été informé du fait que son comportement était constitutif d'une fraude.
B. Le 15 septembre 2010, la Haute école a informé X._ qu'en conformité avec le conseil de coordination de la filière "agronomie" réuni le 14 septembre 2010, il avait obtenu la note de 1 à l'examen de "gestion de mandat" en raison de la fraude commise. Par courrier recommandé du 5 novembre 2010, le Directeur de la Haute école a confirmé à X._ la note de 1, ce qui engendrait son échec définitif au module "gestion administrative" et l'impossibilité de poursuivre sa formation au sein de la Haute école, dont il était exmatriculé.
Par décision du 9 mai 2011, la Direction générale de la Haute école spécialisée de Suisse occidentale de Genève (ci-après: la Direction générale HES) a rejeté le recours formé par X._ contre la décision d'exmatriculation du 5 novembre 2010, en soulignant notamment que l'étudiant avait déjà été sanctionné pour fraude en 2008. Par arrêt du 21 février 2012, la Chambre administrative de la Cour de Justice de la République et canton de Genève (ci-après: la Cour de Justice) a rejeté le recours déposé par X._ contre la décision sur recours du 9 mai 2011.
C. Agissant à la fois par la voie du recours en matière de droit public et celle du recours constitutionnel subsidiaire, X._ conclut, avec suite de frais et dépens, à l'admission de son recours, à l'annulation de l'arrêt du 21 février 2012, ainsi qu'au renvoi de la cause à l'instance précédente pour que cette dernière rende un nouvel arrêt dans le sens des considérants.
La Cour de Justice persiste dans les considérants et le dispositif de son arrêt. La Haute école et la Direction générale HES ne se sont pas déterminées.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43).
1.1 Dans le même acte (<ref-law>), le recourant a déposé à la fois un recours en matière de droit public et un recours constitutionnel subsidiaire.
1.2 L'arrêt attaqué confirmant la décision d'exmatriculation est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>).
Selon l'art. 83 let. t LTF, le recours en matière de droit public n'est pas ouvert à l'encontre des décisions sur le résultat d'examens ou d'autres évaluations des capacités, notamment en matière de scolarité, de formation ultérieure ou d'exercice d'une profession. Le motif d'irrecevabilité contenu dans cette disposition dépend en principe de la matière et non du grief soulevé. Selon la jurisprudence, les décisions d'exmatriculation d'une université ou d'une haute école ou celles d'élimination d'une faculté ou d'un programme d'études tombent sous le coup de l'art. 83 let. t LTF lorsque la décision d'exmatriculation ou d'élimination est en lien avec une évaluation des capacités de l'étudiant évincé (<ref-ruling> consid. 1 p. 231; arrêt 2C_120/2010 du 16 décembre 2010 consid. 1.1, non publié in <ref-ruling>).
A teneur de sa décision du 5 novembre 2010, la Haute école a exmatriculé le recourant à la suite de son échec définitif au module "gestion administrative", au sens de l'art. 13 du règlement d'études bachelor des filières de formation HES de l'Ecole d'ingénieurs de Lullier 2010/2011, entré en vigueur le 15 septembre 2008 (ci-après: le Règlement). Cette situation d'échec définitif découle de la note de 1 prononcée en raison de la fraude commise par l'étudiant (art. 18 al. 1 Règlement), soit le fait d'avoir consulté des documents prohibés au cours de l'examen de rattrapage "gestion de mandat" du 2 septembre 2010 (cf. lettre du 15 septembre 2010). La note insuffisante attribuée ne résulte ainsi pas d'une évaluation matérielle de l'examen du recourant, mais sanctionne disciplinairement un comportement considéré comme malhonnête. La décision d'exmatriculation n'est donc pas directement liée à l'évaluation des capacités de l'étudiant (cf., mutatis mutandis, arrêts 2C_655/2009 du 23 mars 2010 consid. 1; 2C_191/2008 du 24 juin 2008 consid. 1; cf. THOMAS HÄBERLI, ad <ref-law>, in: Basler Kommentar - BGG, 2e éd., Bâle 2011, p. 1100 s. n. 299).
Il sied de préciser que cette situation se distingue des cas de plagiat, dans la mesure où, pour pouvoir être détectée, cette forme particulière de fraude intellectuelle requiert une appréciation au fond du travail litigieux et implique partant une évaluation, au sens de l'art. 83 let. t LTF, contre laquelle seul le recours constitutionnel subsidiaire demeure ouvert (arrêts 2D_16/2012 du 18 juillet 2012 consid. 1.1; 2C_579/2010 du 17 novembre 2010 consid. 1; 2D_18/2009 du 22 juin 2009 consid. 1.1; 2D_62/2008 du 21 août 2009).
Il s'ensuit que s'agissant de la sanction d'un cas de fraude qui n'implique pas d'analyser au fond le travail fourni, la voie du recours en matière de droit public est a priori ouverte, ce qui exclut le recours constitutionnel subsidiaire également mentionné comme voie de droit dans le recours (<ref-law> a contrario).
1.3 Déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de l'acte attaqué qui a un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'il faut lui reconnaître la qualité pour recourir (<ref-law>), le recours en matière de droit public est en principe recevable.
1.4 Le recourant ne conclut formellement qu'à l'annulation de l'arrêt querellé et au renvoi de la cause à l'instance précédente "pour nouvelle décision dans le sens des considérants". Ce faisant, il perd de vue la compétence de réforme dont dispose le Tribunal fédéral en matière de recours de droit public (cf. art. 42 al. 1, 107 al. 2 LTF; arrêt 2C_137/2011 du 30 avril 2012 consid. 3.3, destiné à la publication officielle). Il convient toutefois, en matière de droit public, de ne pas se montrer trop formaliste du moment où l'on comprend ce que veut obtenir le recourant (<ref-ruling> consid. 1.4 p. 414 s.; arrêt 2C_242/2011 du 23 septembre 2011 consid. 1). En l'espèce, on saisit que le recourant requiert du Tribunal fédéral qu'il annule la décision et renvoie la cause à l'instance précédente pour que cette dernière l'autorise à rester immatriculé auprès de la Haute école pour y terminer ses études. Il y a donc lieu de déclarer recevable le recours en matière de droit public interjeté par le recourant (cf. <ref-ruling> consid. 1.2 p. 135 s.; arrêt 2D_45/2011 du 12 décembre 2011 consid. 1.5).
2. 2.1 Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Aux termes de cet alinéa, le Tribunal fédéral n'examine les droits fondamentaux ainsi que le droit cantonal que si le grief a été invoqué et motivé par le recourant (<ref-ruling> consid. 2.5 p. 314; cf. <ref-ruling> consid. 2.2.2 p. 318).
2.2 L'examen du Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (cf. <ref-ruling> consid. 7.1 p. 51; <ref-ruling> consid. 4.2 p. 560) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal de céans (<ref-law>).
Dans la mesure où la version des faits que le recourant donne en début de mémoire s'écarte et complète les faits constatés dans l'arrêt attaqué, sans qu'il soit indiqué que ceux-ci seraient manifestement inexacts ou arbitraires, celle-ci est irrecevable, le Tribunal fédéral n'étant pas une instance d'appel (<ref-ruling> consid. 3 p. 104 s.; arrêt 2C_187/2011 du 28 juillet 2011 consid. 2.2, in: Pra 2012 n° 48 p. 333). C'est partant sur la base des constatations de l'instance inférieure que la Cour de céans examinera les griefs du recourant.
3. Dans un grief d'ordre formel, qu'il convient d'examiner en premier lieu (<ref-ruling> consid. 5.1 p. 390; arrêt 2C_166/2012 du 10 mai 2012 consid. 4), le recourant se plaint d'une violation de son droit d'être entendu garanti par l'art. 29 al. 2 Cst. Il reproche à la Cour de Justice de ne pas avoir tenu compte du fait qu'il ne lui avait pas été possible de faire valoir son point de vue avant le prononcé de la décision d'exmatriculation du 4 [recte: 5] novembre 2010; selon lui, son audition préalable lui aurait permis de démontrer qu'il avait pensé de bonne foi avoir le droit à de la documentation durant son examen de rattrapage. En outre, la motivation à la base de son exmatriculation serait contradictoire.
3.1 Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.3 p. 282). En outre, le droit d'être entendu implique pour l'autorité de motiver sa décision. Selon la jurisprudence, il suffit que l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 2.2.1 p. 188).
Par exception au principe de la nature formelle du droit d'être entendu, la jurisprudence admet qu'une violation de ce dernier principe est considérée comme réparée lorsque l'intéressé jouit de la possibilité de s'exprimer librement devant une autorité de recours disposant du même pouvoir d'examen que l'autorité précédente et pouvant ainsi contrôler librement l'état de fait et les considérations juridiques de la décision attaquée (<ref-ruling> consid. 2.2 p. 204; arrêt 8C_104/2010 du 20 septembre 2010 consid. 3.2).
3.2 En l'espèce, la question de savoir si c'est à tort ou à raison que la Cour de Justice a considéré que le droit d'être entendu du recourant a été exercé préalablement à l'exmatriculation prononcée le 5 novembre 2010 peut rester indécise. En effet, l'éventuel défaut de consultation préalable par la Haute école aurait été réparé dans le cadre du recours formé devant la Direction générale HES; en tant que l'exmatriculation ne portait pas sur une évaluation de capacités, cette instance disposait d'une pleine cognition (cf. art. 27 al. 1 et al. 2 a contrario du règlement cantonal genevois du 2 novembre 2005 sur les Hautes écoles spécialisées [RHES-GE; RS/GE C 1 26.01]; décision du 9 mai 2011, p. 3).
3.3 Pour ce qui est de la critique selon laquelle la décision d'exmatriculation aurait dans un premier temps été motivée par l'échec définitif à un module obligatoire de la formation entreprise mais, contradictoirement et dans un second temps, par la fraude commise par le recourant, cet argument a été abordé de façon claire et suffisamment motivée par l'arrêt entrepris, qui a retenu que le recourant "n'a pas été exmatriculé suite à l'attribution de la note de 1 sur 6 au cours de gestion de mandat mais bien en raison de la fraude commise" (arrêt litigieux, consid. 4). En tant que le recourant s'en prend au caractère défendable de cette appréciation, ce grief sera abordé ci-après (cf. consid. 4 infra).
3.4 En conséquence, il y a lieu d'écarter les griefs du recourant tirés de la violation de son droit d'être entendu.
4. Sous l'angle des principes de l'interdiction de l'arbitraire et de la bonne foi, le recourant soutient que la Haute école a, dans son courrier du 15 septembre 2010, voulu sanctionner la fraude commise uniquement par l'attribution de la note de 1 à l'examen du 2 septembre 2010, sans envisager de l'exmatriculer; or, dans sa décision du 5 novembre 2010, la Haute école aurait arbitrairement et de mauvaise foi changé d'avis, en prononçant son exmatriculation. Il se plaint en outre de ne pas avoir été préalablement informé des modalités de l'examen de rattrapage du 2 septembre 2010, dont la date lui aurait du reste été communiquée tardivement, le 26 août 2012, de sorte à le priver du temps nécessaire à la bonne préparation de son épreuve.
4.1 Une décision est arbitraire (art. 9 Cst.) lorsqu'elle contredit clairement la situation de fait, qu'elle viole gravement une norme ou un principe juridique clair et indiscuté ou qu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. Il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable. Pour qu'une décision soit annulée, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 7.1 p. 51; <ref-ruling> consid. 2.4 p. 5). En outre, les organes de l'Etat et les particuliers doivent agir de manière conforme aux règles de la bonne foi (cf. art. 5 al. 3 et 9 Cst.).
4.2 Contrairement à ce que prétend le recourant, et comme l'ont retenu les juges cantonaux (cf. consid. 2.2 supra), la Haute école a d'emblée entendu sanctionner le comportement frauduleux du recourant lors de la session de rattrapage du 2 septembre 2010. La note de 1,0 attribuée pour l'examen "gestion de mandat", l'a été en raison de la fraude commise, en application de l'art. 18 al. 1 du Règlement aux termes duquel toute fraude ou tentative de fraude lors d'une évaluation ou de l'exécution d'un travail entraîne la note de 1 au cours (cf. courrier du 15 septembre 2010). Par conséquent, on ne saisit pas la pertinence de la distinction que le recourant tente artificiellement d'établir entre, d'une part, l'attribution de la note de 1,0 à titre de sanction pour fraude et le prononcé direct de son exmatriculation en vue de sanctionner la fraude commise, dès lors que l'une comme l'autre de ces sanctions débouchait in casu sur son exmatriculation de la Haute école (cf. art. 13 et 15 Règlement; art. 11 let. b RHES-GE; décision du 5 novembre 2010), ce que le recourant ne remet d'ailleurs pas en cause devant la Cour de céans.
Par ailleurs, la notation de 1,0 est, à suivre l'art. 18 du Règlement, décernée automatiquement lorsqu'un examen est entaché d'une (tentative de) fraude. Or, il ressort sans arbitraire de l'arrêt querellé que cette conséquence automatique relative à la notation du travail d'examen ne prive pas la Haute école du droit d'envisager, en parallèle et dans le respect du principe de proportionnalité, le prononcé d'une mesure disciplinaire parmi les sanctions prévues à l'art. 22 al. 1 RHES-GE, tel que lu en relation avec les art. 6 al. 1 let. c et 11 let. c RHES-GE traitant de l'exclusion définitive. Au demeurant, on ne perçoit pas en quoi la Haute école, respectivement la Cour de Justice en confirmant l'exclusion du recourant, serait tombée dans l'arbitraire ou aurait agi de mauvaise foi si elle avait dans un premier temps envisagé de se contenter d'appliquer la mesure automatique (note de 1,0) figurant à l'art. 18 al. 1 du Règlement, avant de se résoudre à prononcer cette sanction dans le cadre de sa décision du 5 novembre 2010, après avoir instruit plus avant le dossier de fraude et consulté le Conseil de coordination de la filière le 14 septembre 2010.
4.3 Il apparaît que l'argument du recourant consistant à se plaindre du temps de préparation trop court qui lui aurait été laissé en vue de l'épreuve de rattrapage a été invoqué pour la première fois devant le Tribunal fédéral, ce qui n'est pas admissible en vertu des principes de la bonne foi et de l'épuisement des griefs (cf. <ref-ruling> consid. 2 p. 640; arrêt 5A_679/2011 du 10 avril 2012 consid. 2). Quoi qu'il en soit, tant cet argument que celui tiré de la prétendue absence d'information au sujet des modalités de l'examen, sont irrecevables pour un autre motif (encore): en effet, le recourant ne motive pas en quoi l'arrêt attaqué aurait arbitrairement omis de tenir compte des défaillances alléguées et dans quelle mesure celles-ci auraient porté la Haute école à rendre, puis la Cour de Justice à confirmer, une décision d'exmatriculation insoutenable quant à son résultat (cf. <ref-law>).
Pour le surplus, on peine à comprendre comment les problèmes organisationnels signalés par le recourant, qu'il lui aurait été loisible de régler en interpellant la Haute école en amont de l'examen, lui auraient permis de justifier la commission d'une fraude durant la session de rattrapage. Ses arguments frôlent de surcroît la témérité en ce que le recourant avait déjà été sanctionné pour fraude en 2008 et averti qu'il devait se montrer irréprochable (cf. arrêt querellé, p. 3 et 12). De plus, comme le rappelle à juste titre la Cour de Justice, l'énoncé de l'examen mentionnait en gras que les réponses devaient être données "sans aide extérieure", si bien qu'il aurait été possible à l'étudiant, en cas de doute quelconque sur la portée de cette mention, d'interroger le surveillant en début d'épreuve (arrêt attaqué, p. 12).
4.4 Par conséquent, les griefs que le recourant tire de l'interdiction de l'arbitraire et de la bonne foi doivent être, en tant qu'ils sont recevables, entièrement écartés.
5. Au vu de ce qui précède, c'est à juste titre que la Cour de Justice a rejeté le recours dirigé contre la décision confirmant son exmatriculation de la Haute école. Le recours en matière de droit public doit par conséquent être rejeté dans la mesure de sa recevabilité; le recours constitutionnel subsidiaire est quant à lui irrecevable. Succombant, le recourant supporte les frais judiciaires (cf. <ref-law>). Aucun dépens n'est alloué (cf. art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
2. Le recours constitutionnel subsidiaire est irrecevable.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour de Justice de la République et canton de Genève, Chambre administrative, 2ème section.
Lausanne, le 18 juillet 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Chatton