Faits: A. Les époux B._ sont propriétaires de la parcelle 2619 du cadastre de la commune de Port-Valais, au lieu dit "En la Grand' Planche". D'une surface de 944 m2, le terrain est sis en zone résidentielle de faible densité R2, selon le règlement communal de construction (RCC) homologué par le Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat) le 16 août 1995. Entre 1973 et 1983, ce bien-fonds était propriété de D._, qui envisageait d'y bâtir un lotissement en 1975, sans que ce projet n'aboutisse à la délivrance d'un permis. Les époux B._ l'ont acquis en 2004 des époux C._. Le 9 février 2006, les époux B._ ont sollicité l'autorisation de construire une villa individuelle. Ce projet a suscité l'opposition de A._, propriétaire de la parcelle voisine, au motif que le bâtiment projeté supprimerait la vue dont il bénéficiait actuellement. L'opposition a été rejetée par la commune de Port-Valais, qui a délivré l'autorisation requise le 5 juin 2006. A._, à qui la commune, le Conseil d'Etat et le Tribunal cantonal avaient successivement donné tort, a porté le litige à deux reprises devant le Tribunal fédéral, qui, à chaque fois, a renvoyé l'affaire pour instruction complémentaire (arrêts 1C_95/2007 du 23 juillet 2007 et 1C_89/2008 du 16 juin 2008). B. Plusieurs analyses et avis techniques émanant de trois spécialistes (X._, Y._ et Z._) ont été produits au cours des procédures précitées afin de déterminer l'ancienneté et le volume des remblais déposés sur la parcelle 2619, dans le but de mesurer le niveau du terrain naturel à partir duquel il convenait de calculer la hauteur de l'ouvrage projeté. L'existence de contradictions dans ces expertises laissait cependant des incertitudes sur la date des remblais au lieu précis d'implantation de la villa et exigeait un complément d'instruction. C'est la raison pour laquelle le Tribunal cantonal a décidé, le 31 octobre 2008, d'admettre le recours de A._, d'annuler la décision du Conseil d'Etat et de renvoyer le dossier à la commune de Port-Valais pour qu'elle complète l'instruction et rende une nouvelle décision. Le 17 décembre 2008, la commune de Port-Valais a convoqué les parties en vue de discuter les conditions d'un arrangement qui prévoyait notamment d'abaisser la hauteur de la villa à l'altitude 423,25 m et d'en repousser l'implantation 2 m vers le nord. En l'absence d'accord, la commune a informé les parties qu'elle allait mandater un bureau technique afin de définir le profil du terrain naturel. L'expert W._, désigné par la commune, a délivré son rapport d'expertise en photogrammétrie le 27 avril 2010. Ce rapport constatait certaines différences de niveau du terrain entre 1986 et 2006 sur la parcelle 2619 mais concluait à l'absence de mouvements importants. Les parties se sont à nouveau réunies le 14 juin 2010 en vue de trouver une voie de conciliation. Elles ont confirmé s'être entendues sur un point altimétrique faîtier du bâtiment à 423,25 m et sur le dépôt d'un nouveau projet de villa, dont les plans étaient transmis à A._. C. Le 16 septembre 2010, les époux B._ ont déposé une demande d'autorisation de construire pour ce nouveau projet, qui prévoyait un faîte à l'altitude de 423, 22 m et déplaçait l'emprise du bâtiment d'environ 1,20 m vers le nord. Cette demande a suscité l'opposition de A._, qui contestait notamment les conclusions de l'expertise W._. Ce dernier a répondu aux arguments de l'opposant le 9 novembre 2010. Le 28 janvier 2011, le rapport d'expertise géométrique du bureau d'ingénieurs et géomètres V._ a confirmé les résultats de W._. Le 28 mars 2011, le conseil communal de Port-Valais a délivré l'autorisation de construire sollicitée. A._ a porté sa cause devant le Conseil d'Etat, qui a rejeté son recours le 18 janvier 2012. Par arrêt du 24 mai 2012, le Tribunal cantonal a rejeté le recours de l'intéressé contre la décision précitée, considérant en substance que la hauteur de la villa projetée était conforme à la réglementation de la zone. D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 24 mai 2012 et, statuant à nouveau, d'annuler l'autorisation de construire du 28 mars 2011. Subsidiairement, il conclut au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Le recourant se plaint pour l'essentiel d'une constatation inexacte des faits, d'une appréciation arbitraire des preuves, d'une violation de son droit d'être entendu ainsi que d'une application arbitraire du droit cantonal. Le Tribunal cantonal et le Conseil d'Etat renoncent à se déterminer. La commune de Port-Valais conclut implicitement à la confirmation de l'autorisation de construire et donc au rejet du recours. Les intimés concluent au rejet du recours et à la confirmation de l'arrêt attaqué. Par ordonnance du 22 août 2012, le Juge présidant de la Ire Cour de droit public a admis la requête d'effet suspensif contenue dans le recours.