Faits: A. En septembre 2007, X._ a débuté des études d'agronomie à l'Ecole d'ingénieurs de Lullier, devenue la Haute école du paysage, d'ingénierie et d'architecture de Genève (ci-après: la Haute école). Au terme de sa 3e année d'études, X._ a obtenu une moyenne de 3,9 sur 6 pour le module obligatoire de gestion administrative, soit 4,5 pour le cours de gestion d'entreprise et 3,3 pour le cours de gestion de mandat, entraînant une situation d'échec. Lors de la session de rattrapage du 2 septembre 2010, X._ a été autorisé à repasser l'examen écrit "gestion de mandat", sur l'énoncé duquel figurait en caractères gras la mention "Répondre directement et lisiblement sur les feuilles d'examens sans aide extérieure". Au cours de l'examen, la surveillante a surpris X._ en train de consulter des documents contenant des éléments du support de cours, ainsi que les notes d'un camarade. Ces documents ont été confisqués et l'étudiant a été informé du fait que son comportement était constitutif d'une fraude. B. Le 15 septembre 2010, la Haute école a informé X._ qu'en conformité avec le conseil de coordination de la filière "agronomie" réuni le 14 septembre 2010, il avait obtenu la note de 1 à l'examen de "gestion de mandat" en raison de la fraude commise. Par courrier recommandé du 5 novembre 2010, le Directeur de la Haute école a confirmé à X._ la note de 1, ce qui engendrait son échec définitif au module "gestion administrative" et l'impossibilité de poursuivre sa formation au sein de la Haute école, dont il était exmatriculé. Par décision du 9 mai 2011, la Direction générale de la Haute école spécialisée de Suisse occidentale de Genève (ci-après: la Direction générale HES) a rejeté le recours formé par X._ contre la décision d'exmatriculation du 5 novembre 2010, en soulignant notamment que l'étudiant avait déjà été sanctionné pour fraude en 2008. Par arrêt du 21 février 2012, la Chambre administrative de la Cour de Justice de la République et canton de Genève (ci-après: la Cour de Justice) a rejeté le recours déposé par X._ contre la décision sur recours du 9 mai 2011. C. Agissant à la fois par la voie du recours en matière de droit public et celle du recours constitutionnel subsidiaire, X._ conclut, avec suite de frais et dépens, à l'admission de son recours, à l'annulation de l'arrêt du 21 février 2012, ainsi qu'au renvoi de la cause à l'instance précédente pour que cette dernière rende un nouvel arrêt dans le sens des considérants. La Cour de Justice persiste dans les considérants et le dispositif de son arrêt. La Haute école et la Direction générale HES ne se sont pas déterminées.