Faits:
A. Les époux B._ sont propriétaires de la parcelle 2619 du cadastre de la commune de Port-Valais, au lieu dit "En la Grand' Planche". D'une surface de 944 m2, le terrain est sis en zone résidentielle de faible densité R2, selon le règlement communal de construction (RCC) homologué par le Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat) le 16 août 1995. Entre 1973 et 1983, ce bien-fonds était propriété de D._, qui envisageait d'y bâtir un lotissement en 1975, sans que ce projet n'aboutisse à la délivrance d'un permis. Les époux B._ l'ont acquis en 2004 des époux C._.
Le 9 février 2006, les époux B._ ont sollicité l'autorisation de construire une villa individuelle. Ce projet a suscité l'opposition de A._, propriétaire de la parcelle voisine, au motif que le bâtiment projeté supprimerait la vue dont il bénéficiait actuellement. L'opposition a été rejetée par la commune de Port-Valais, qui a délivré l'autorisation requise le 5 juin 2006.
A._, à qui la commune, le Conseil d'Etat et le Tribunal cantonal avaient successivement donné tort, a porté le litige à deux reprises devant le Tribunal fédéral, qui, à chaque fois, a renvoyé l'affaire pour instruction complémentaire (arrêts 1C_95/2007 du 23 juillet 2007 et 1C_89/2008 du 16 juin 2008).
B. Plusieurs analyses et avis techniques émanant de trois spécialistes (X._, Y._ et Z._) ont été produits au cours des procédures précitées afin de déterminer l'ancienneté et le volume des remblais déposés sur la parcelle 2619, dans le but de mesurer le niveau du terrain naturel à partir duquel il convenait de calculer la hauteur de l'ouvrage projeté. L'existence de contradictions dans ces expertises laissait cependant des incertitudes sur la date des remblais au lieu précis d'implantation de la villa et exigeait un complément d'instruction. C'est la raison pour laquelle le Tribunal cantonal a décidé, le 31 octobre 2008, d'admettre le recours de A._, d'annuler la décision du Conseil d'Etat et de renvoyer le dossier à la commune de Port-Valais pour qu'elle complète l'instruction et rende une nouvelle décision.
Le 17 décembre 2008, la commune de Port-Valais a convoqué les parties en vue de discuter les conditions d'un arrangement qui prévoyait notamment d'abaisser la hauteur de la villa à l'altitude 423,25 m et d'en repousser l'implantation 2 m vers le nord. En l'absence d'accord, la commune a informé les parties qu'elle allait mandater un bureau technique afin de définir le profil du terrain naturel. L'expert W._, désigné par la commune, a délivré son rapport d'expertise en photogrammétrie le 27 avril 2010. Ce rapport constatait certaines différences de niveau du terrain entre 1986 et 2006 sur la parcelle 2619 mais concluait à l'absence de mouvements importants. Les parties se sont à nouveau réunies le 14 juin 2010 en vue de trouver une voie de conciliation. Elles ont confirmé s'être entendues sur un point altimétrique faîtier du bâtiment à 423,25 m et sur le dépôt d'un nouveau projet de villa, dont les plans étaient transmis à A._.
C. Le 16 septembre 2010, les époux B._ ont déposé une demande d'autorisation de construire pour ce nouveau projet, qui prévoyait un faîte à l'altitude de 423, 22 m et déplaçait l'emprise du bâtiment d'environ 1,20 m vers le nord. Cette demande a suscité l'opposition de A._, qui contestait notamment les conclusions de l'expertise W._. Ce dernier a répondu aux arguments de l'opposant le 9 novembre 2010. Le 28 janvier 2011, le rapport d'expertise géométrique du bureau d'ingénieurs et géomètres V._ a confirmé les résultats de W._. Le 28 mars 2011, le conseil communal de Port-Valais a délivré l'autorisation de construire sollicitée.
A._ a porté sa cause devant le Conseil d'Etat, qui a rejeté son recours le 18 janvier 2012. Par arrêt du 24 mai 2012, le Tribunal cantonal a rejeté le recours de l'intéressé contre la décision précitée, considérant en substance que la hauteur de la villa projetée était conforme à la réglementation de la zone.
D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 24 mai 2012 et, statuant à nouveau, d'annuler l'autorisation de construire du 28 mars 2011. Subsidiairement, il conclut au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Le recourant se plaint pour l'essentiel d'une constatation inexacte des faits, d'une appréciation arbitraire des preuves, d'une violation de son droit d'être entendu ainsi que d'une application arbitraire du droit cantonal.
Le Tribunal cantonal et le Conseil d'Etat renoncent à se déterminer. La commune de Port-Valais conclut implicitement à la confirmation de l'autorisation de construire et donc au rejet du recours. Les intimés concluent au rejet du recours et à la confirmation de l'arrêt attaqué.
Par ordonnance du 22 août 2012, le Juge présidant de la Ire Cour de droit public a admis la requête d'effet suspensif contenue dans le recours.

Considérant en droit:
1. Dirigé contre une décision rendue dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est en principe recevable comme recours en matière de droit public conformément aux <ref-law>. Aucune des exceptions prévues à l'<ref-law> n'est réalisée.
Selon la jurisprudence, le voisin a qualité pour agir lorsque son terrain jouxte celui du constructeur ou se trouve à proximité immédiate de celui-ci (<ref-ruling> consid. 2b p. 174; <ref-ruling> consid. 5c p. 511). Tel est le cas du recourant, propriétaire de la parcelle 496, située dans le proche voisinage de celle où les intimés projettent la villa litigieuse.
Les autres conditions de recevabilité sont remplies si bien qu'il y a lieu d'entrer en matière.
2. Comme dans les deux affaires portées précédemment devant le Tribunal fédéral, le litige porte essentiellement sur le calcul de la hauteur maximale de 9 mètres autorisée par l'art. 100 du règlement communal de construction (RCC). L'art. 11 de la loi cantonale sur les constructions du 8 février 1986 (LC) prévoyant que la hauteur d'un bâtiment se mesure dès le niveau du sol naturel, il fallait déterminer si le remblai existant - non contesté par les parties - remplissait les conditions posées par le glossaire annexé à l'ordonnance cantonale sur les constructions du 2 octobre 1996 (OC) pour être assimilé à du terrain naturel. Ce dernier autorise en effet à considérer un sol aménagé comme terrain naturel à la triple condition que l'apport de terre soit intervenu de nombreuses années avant le dépôt de la demande d'autorisation de construire (en principe une vingtaine), que ces travaux aient porté sur une certaine étendue et qu'ils n'aient pas été effectués en vue d'une construction future. Si les apports de terre ont été faits dans les vingt dernières années, ils ne sauraient donc être pris en compte dans la détermination du niveau du terrain naturel.
Le Tribunal cantonal ayant assimilé les apports de terre observés sur la parcelle 2619 à du terrain naturel, il a conclu que le projet de villa des intimés s'élevait à 8,89 m et respectait ainsi les prescriptions communales. Le recourant conteste cependant que les remblais constatés puissent être considérés comme du terrain naturel, avec pour conséquence que la hauteur maximale autorisée serait dépassée.
3. Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se plaint d'une violation de son droit d'être entendu, le Tribunal cantonal ayant refusé de faire administrer divers moyens de preuve qu'il avait sollicités.
3.1 Le droit d'être entendu garanti à l'art. 29 al. 2 Cst. comprend notamment celui de faire administrer les preuves pour autant que celles-ci soient requises dans les formes prévues par le droit cantonal et qu'elles apparaissent utiles à l'établissement des faits pertinents (<ref-ruling> consid. 2.2 p. 504; <ref-ruling> consid. 2b p. 56; <ref-ruling> consid. 2b p. 102). L'autorité de décision peut donc se livrer à une appréciation anticipée de la pertinence du fait à prouver et de l'utilité du moyen de preuve offert et, sur cette base, refuser de l'administrer. Ce refus ne viole le droit d'être entendu que si l'appréciation à laquelle elle a ainsi procédé est entachée d'arbitraire (<ref-ruling> consid. 3 p. 157 et les arrêts cités; sur la notion d'arbitraire, voir <ref-ruling> consid. 5.1 p. 17).
3.2 En l'espèce, le recourant fait valoir que la commune de Port-Valais aurait fait rétention d'une pièce du dossier D._, à savoir du seul plan comprenant des cotes d'altitude et qui démontrerait une surélévation de terrain de plus de 3,64 m concentrée sous l'implantation du projet. Cette pièce aurait été essentielle pour démontrer que les ajouts de remblais n'ont pas porté sur un secteur d'une certaine étendue. Le dossier de l'architecte-conseil aurait également permis d'élucider la conformité du remblai à la législation sur les constructions, et la réalisation d'une nouvelle expertise était nécessaire pour clarifier les dates auxquelles les ajouts de terre avaient été effectués. Enfin, l'édition du dossier pénal qui oppose les époux B._ et et C._ était pertinente, puisque son objet portait également sur le remblai.
La cour cantonale a considéré que l'édition par la commune de Port-Valais de tous les dossiers de construction relatifs à la parcelle 2619, en particulier celui de 1975 relatif à l'autorisation de construire de D._, n'était pas utile à la résolution du litige puisque, comme elle l'avait ensuite exposé, les remblais datant d'avant 1990 pouvaient être assimilés à du terrain naturel. Le dossier de l'architecte-conseil relatif au projet de 2006 n'était pas non plus nécessaire pour résoudre le litige, les pièces au dossier étant suffisantes pour trancher la question du remblai. Enfin, pour les mêmes motifs, il était renoncé à ordonner des expertises géologique et photogrammétrique supplémentaires et à demander l'édition par le Tribunal de district de Monthey du dossier pénal opposant les époux B._ et aux époux C._. Malgré les critiques du recourant, le refus de la cour cantonale d'ordonner les mesures d'instruction sollicitées, ainsi que la motivation y relative, échappent à l'arbitraire. Il apparaît en effet que les offres de preuve proposées n'auraient pas permis de conduire à une appréciation différente des faits constatés et des griefs examinés (cf. consid. 4 ss ci-après). Les juges cantonaux pouvaient dès lors, sans violer le droit d'être entendu de l'intéressé, renoncer à administrer les offres de preuve requises.
4. Le recourant se plaint d'une constatation inexacte des faits ainsi que d'une appréciation arbitraire des preuves en relation avec les éléments à la base du calcul de la hauteur de la construction projetée.
4.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus par l'<ref-law>. Selon la jurisprudence, l'appréciation des preuves ou l'établissement des faits sont arbitraires (art. 9 Cst.; pour une définition de l'arbitraire cf. <ref-ruling> consid. 3.1 p. 265 s.; <ref-ruling> consid. 3.1 p. 153) lorsque l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision ou lorsqu'elle tire des constatations insoutenables des éléments recueillis (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2a p. 41).
4.2 Tout d'abord, le recourant critique les constatations du Tribunal cantonal relatives à la date du remblai. Celles-ci seraient totalement contredites par les expertises au dossier ainsi que par les courriers des époux C._, lesquels indiquent avoir procédé à des ajouts de terre entre 1987 et 1999. C'est dès lors de façon arbitraire que le Tribunal cantonal serait arrivé à la conclusion qu'aucun remblai n'avait été ajouté sur la parcelle durant les vingt dernières années.
Il ressort du dossier que quatre experts ont étudié les modifications de terrain effectuées sur la parcelle 2619: X._ (rapport du 21 mars 2007), Y._ (rapport du 3 mai 2007), Z._ (rapport du 10 octobre 2007) et W._ (rapport du 27 avril 2010). Le Tribunal cantonal émet des réserves quant à ces expertises. Celles-ci ont concentré leur analyse sur la période 1986-2006, alors que les époux B._ ont déposé une nouvelle autorisation de construire en 2010, concernant un projet de villa modifié; les états décisifs du terrain pour juger d'éventuelles modifications devraient ainsi plutôt être ceux de 1990 et 2010, voire l'état actuel et celui de 1992 puisque le Tribunal cantonal tient compte de l'état de fait au moment où il statue. Le projet avait par ailleurs une emprise au sol décalée vers l'aval. Ces deux raisons concouraient à rendre les différences de hauteur mesurées par les experts Y._ (au maximum 100 cm), Z._ (en moyenne 90 cm) et W._ (au maximum 80 cm) au lieu d'implantation du projet de 2006 peu représentatives du niveau du terrain naturel tel qu'il devrait être défini pour résoudre le litige. A cela s'ajoutait que les marges d'erreur étaient relativement conséquentes (+/- 60 à 120 cm pour Y._, +/- 30 cm pour Z._ et +/- 55 cm pour W._). Les mêmes réserves devaient être retenues à l'égard des conclusions de l'expertise X._, qui n'avait pas mesuré de hauteur mais constaté un remblayage de 634 m3 (marge d'erreur de +/- 300 m3) entre 1974 et 2004. L'expert Z._ avait certes fourni un complément de mesures relatif au projet 2010, le 29 mars 2010, mais continuait pourtant à se référer aux différences de terrain constatées entre 1986 et 2006, et prenait en considération un emplacement du bâtiment qui ne correspondait pas à celui finalement arrêté par les constructeurs. En exposant ces éléments, la cour cantonale a expliqué de manière claire et convaincante pourquoi elle renonçait à prendre en compte les mesures précitées, qui ne permettent en effet pas de déterminer le niveau du terrain naturel utile à la résolution du litige. L'appréciation des expertises effectuée par les juges cantonaux apparaît ainsi dépourvue d'arbitraire.
Considérant que tous les éléments ressortant de ces expertises n'étaient pas pour autant inutilisables, le Tribunal cantonal les a ensuite comparés avec les déclarations des époux C._, pour arriver à la conclusion que, selon toute vraisemblance, les profils du terrain en août 1992 étaient très proches de ceux sur la base desquels le projet 2010 des époux B._ avait été établi. Les juges cantonaux ont en effet relevé que toutes les analyses montraient que la parcelle 2619 avait été remblayée depuis 1986, ce que confirmaient les époux C._. Restait à voir si l'on pouvait déterminer plus précisément quand ces apports avaient été effectués. Ni X._ ni Z._ n'apportaient d'indications utiles à ce sujet, et Y._ mentionnait ne pas avoir constaté de différences de terrain entre 1998 et 2004. Quant à W._, il indiquait, à l'examen des photographies aériennes, que le terrain avait été passablement modifié entre juillet 1986 et août 1992; les photographies de 1998 et de 2004 présentaient selon lui une situation inchangée par rapport à 1992. Ces constatations étaient compatibles avec les déclarations des époux C._, qui avaient affirmé ne plus avoir remblayé de manière significative à partir de 1995. Le recourant fait valoir qu'au contraire, les ajouts de terre ont été effectués par les époux C._ pour l'essentiel de 1990 à 1999. Il cite à ce propos leur courrier du 18 mars 2007, où ces derniers indiquent qu'en 1995, ils ont clôturé et fermé la parcelle par un portail, "et cessé un peu l'apport de terre"; de plus, selon leur courrier du 3 mai 2007, ils auraient déposé eux-mêmes de la terre, plusieurs fois par année entre 1987 et 1999, par camion, unimog, etc. Quoi qu'en dise le recourant, les déclarations des époux C._ ne rendent pas déraisonnable l'appréciation globale, par la cour cantonale, de tous les éléments à sa disposition. Il apparaît en effet, au vu de ce qui précède, que c'est par une appréciation des preuves dénuée d'arbitraire que les juges cantonaux ont estimé que les apports de terre les plus importants avaient été faits entre 1987 et l'été 1992. De même, il n'est pas insoutenable de considérer que, s'il n'est pas possible d'exclure des apports de terre dans les années suivantes, ces apports éventuels sont demeurés modestes.
4.3 Le recourant critique également l'établissement des faits en relation avec l'étendue du remblai. Il considère que les ajouts de terre ne portaient pas sur une certaine étendue, mais ont été concentrés sous l'implantation du projet de construction. Ce point a toutefois déjà été tranché dans l'arrêt 1C_95/2007 du 23 juillet 2007 (consid. 5.5), où le Tribunal fédéral a jugé que la constatation du Tribunal cantonal, selon laquelle le remblai était d'une certaine étendue, n'était pas inexacte. Il n'y a par conséquent pas lieu d'y revenir, la nouvelle implantation du projet n'ayant aucune incidence sur cet élément de fait.
4.4 Le recourant allègue encore que le Tribunal cantonal a admis de façon arbitraire que le niveau du terrain naturel n'avait pas été augmenté dans le but d'une construction future, et que les apports de terre effectués par D._ dans les années 1970 étaient illicites. En réalité, le recourant, qui conteste ces points, critique moins les faits tels qu'ils ont été établis par le Tribunal cantonal que leur appréciation juridique. Il s'agit donc de questions de droit qui doivent être examinées avec le fond.
4.5 Il résulte de ce qui précède que les critiques du recourant quant à l'établissement des faits et à l'appréciation des preuves sont mal fondées et doivent être rejetées. Le Tribunal fédéral est par conséquent lié par les faits retenus dans l'arrêt attaqué, conformément à l'<ref-law>.
5. Au fond, le recourant se plaint d'une application arbitraire du droit cantonal, plus précisément de l'art. 11 LC. Il allègue en substance que le Tribunal cantonal a mal interprété et appliqué la notion de terrain naturel telle que définie dans le glossaire annexé à l'ordonnance cantonale sur les constructions (pour la teneur du droit cantonal, cf. consid. 2).
5.1 Une décision est arbitraire lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité; le Tribunal fédéral ne s'écarte ainsi de la solution retenue par l'autorité cantonale de dernière instance que si elle est insoutenable ou en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat (<ref-ruling> consid. 4.3 p. 319; <ref-ruling> consid. 5.1 p. 17).
5.2 Le glossaire précité autorise à considérer un sol aménagé comme terrain naturel à la première condition que l'apport de terre soit intervenu de nombreuses années avant le dépôt de la demande d'autorisation de construire (en principe une vingtaine).
Sur la base des éléments de fait qui lient le Tribunal fédéral, les juges cantonaux ont retenu qu'au moment du dépôt des plans du second projet de villa, le 16 septembre 2010, les profils de la parcelle en cause n'avaient pas évolué de manière significative depuis au moins dix-huit ans; à la date de l'arrêt attaqué, cette période atteignait pratiquement vingt ans. Vu la teneur du texte du glossaire ("de nombreuses années", "en principe une vingtaine"), la cour cantonale a considéré que la première condition de la définition de terrain naturel était remplie dans le cas d'espèce, où les travaux ne débuteront au mieux qu'en 2012.
Le recourant reproche au Tribunal cantonal d'avoir retenu l'écoulement de dix-huit années en lieu et place des vingt ans requis par la loi et d'avoir omis de prendre en compte le remblai ajouté par l'ancien propriétaire D._, détenteur de la parcelle entre 1973 et 1983. Ces considérations, pour autant qu'elles soient pertinentes, ne permettent pas de déceler un quelconque arbitraire dans la motivation de l'arrêt attaqué, qui doit dès lors être confirmé sur ce point.
5.3 Le recourant discute par ailleurs en vain le fait que les travaux de remblais aient porté sur une certaine étendue, cet élément ayant été établi sans arbitraire par la cour cantonale (cf. consid. 4.3 ci-dessus).
5.4 La troisième condition tirée du glossaire exige que les ajouts de terre précédemment effectués sur la parcelle ne l'aient pas été en vue d'une construction future. Le recourant affirme que cette condition n'est pas remplie, puisque l'ancien propriétaire D._ avait effectué des apports de terre en vue d'un projet de construction déposé en 1975.
Le Tribunal cantonal a relevé que la condition précitée pouvait sans doute s'appliquer lorsque le bien-fonds remblayé appartenait toujours au même propriétaire qui y envisageait de nouveaux travaux. Elle ne pouvait cependant limiter les possibilités de construction des intimés, nouveaux propriétaires depuis 2004, en leur opposant l'existence de remblais réalisés il y a plus de trente ans par un précédent propriétaire en vue de bâtir un ouvrage jamais érigé, d'autant moins que personne n'avait jamais exigé à l'époque de rétablissement des profils antérieurs du terrain. Le recourant discute cette motivation dans un style appellatoire, se contentant d'opposer son opinion à celle des juges cantonaux. Il ne démontre toutefois nullement en quoi le raisonnement de la cour cantonale serait insoutenable, ce qui n'apparaît manifestement pas être le cas. Les juges cantonaux pouvaient ainsi, sans tomber dans l'arbitraire, considérer qu'il n'y avait pas lieu d'exclure, dans les conditions du cas d'espèce, que ces apports de terre puissent être assimilés au terrain naturel.
5.5 Enfin, le recourant expose que, pour qu'un terrain aménagé puisse être considéré comme terrain naturel, il est indispensable que les ajouts de terre n'aient pas été faits de manière illicite. Le Tribunal cantonal se serait arbitrairement écarté de cette jurisprudence cantonale.
L'arrêt attaqué indique que le recourant se référait aux apports effectués par D._ dans les années 1970 et à un arrêt de réexamen où il avait été décidé que l'auteur d'un remblai exécuté en violation d'une interdiction de poursuivre des travaux ne pouvait pas s'en prévaloir utilement. L'interprétation très stricte de cette jurisprudence par le recourant ne pouvait toutefois être suivie. Au vu du délai absolu de prescription de trente ans prévu pour la suppression des travaux non autorisés, par le biais de la procédure de remise en état des lieux (art. 51 al. 5 LC), la cour cantonale voyait mal pourquoi il ne fallait pas tenir compte, dans la détermination du terrain naturel, d'apports de terre non autorisés, qui n'avaient pas été contestés à l'époque de leur réalisation et dont on ne pouvait de toute façon plus exiger la suppression. Au surplus, permettre la remise en cause du niveau du terrain naturel en lien avec tout apport de terre antérieur, fût-il très ancien, causerait une insécurité trop grande pour les constructeurs qui bien souvent, comme ici, ont acquis le bien-fonds plusieurs dizaines d'années après la réalisation des remblais non autorisés et sans qu'ils en soient les auteurs. Le recourant discute le raisonnement précité et arrive à une autre solution que celle proposée par la cour cantonale. Ceci ne suffit toutefois pas à établir que l'arrêt attaqué serait arbitraire sur ce point, ce qui n'est effectivement pas le cas.
5.6 Il résulte de ce qui précède que c'est par une application du droit cantonal dépourvue d'arbitraire que le Tribunal cantonal a jugé que les ajouts de terre effectués sur la parcelle 2619 pouvaient être considérés comme du terrain naturel. Partant, la villa projetée, dont la hauteur est de 8,89 m, respecte les prescriptions communales et le recours apparaît mal fondé sur ce point.
6. Il s'ensuit que le recours doit être rejeté, aux frais du recourant qui succombe (art. 65 et 66 LTF). Celui-ci versera en outre une indemnité de dépens aux intimés qui obtiennent gain de cause avec l'assistance d'un avocat (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, fixés à 3'000 fr., sont mis à la charge du recourant.
3. Une indemnité de 3'000 fr., à payer aux intimés à titre de dépens, est mise à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires des parties, à la Commune de Port-Valais, au Conseil d'Etat et au Tribunal cantonal du canton du Valais, Cour de droit public.
Lausanne, le 17 janvier 2013
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Mabillard