Faits:
A. X._ est propriétaire de deux parcelles contiguës à Vernier, dont la surface totale est de 42'671 m2 (nos 2932 et 2934 du registre foncier). Dès 1952, ces deux parcelles ont été incluses dans la 5e zone résidentielle (zone de villas). L'affectation en 5e zone a été confirmée par la loi cantonale genevoise d'application de la loi fédérale sur l'aménagement du territoire (LaLAT), du 4 juin 1987. Ces terrains se trouvent dans les environs de l'aéroport international de Genève.
B. Le 23 octobre 2002, X._ a adressé à la Commission fédérale d'estimation du 1er arrondissement une demande d'indemnité pour expropriation matérielle. Il concluait au paiement, par l'Etat de Genève, de la somme de 14'934'850 fr., avec intérêts à 5 %. Il faisait valoir que les restrictions prévues par la législation fédérale sur la protection de l'environnement (notamment par l'art. 31 de l'ordonnance sur la protection contre le bruit [OPB; RS 814.41]), dans cette région exposée au bruit du trafic aérien, avaient rendu ses deux parcelles impropres à la construction de logements. Il se référait du reste au refus, signifié le 30 juin 2000 par le Département cantonal de l'aménagement, de l'équipement et du logement (DAEL; ci-après: le département cantonal), d'une demande préalable qu'il avait déposée en vue d'obtenir l'autorisation de construire sur ses terrains trente-neuf villas mitoyennes et douze villas individuelles. Le département avait fondé son refus sur l'argument selon lequel les deux parcelles, bien que formellement en 5e zone, ne correspondaient pas à la définition matérielle de la zone à bâtir, notamment parce qu'elles n'étaient pas équipées et faisaient partie des surfaces d'assolement; au surplus, une affectation en zone agricole était envisagée. X._ ainsi que le promoteur du projet (A._ Immobilière) avaient recouru contre cette décision auprès de la Commission cantonale de recours en matière de constructions, mais le recours avait été rejeté par un prononcé du 10 août 2001, la Commission considérant qu'en raison des nuisances sonores du trafic aérien, les habitants des villas projetées seraient exposés à des inconvénients graves.
Invité par la Commission fédérale d'estimation à répondre, l'Etat de Genève (représenté par le département cantonal) a conclu le 31 janvier 2003 au rejet de la demande d'indemnité. A titre principal, l'Etat de Genève a fait valoir qu'il n'avait pas la légitimation passive car les prétentions auraient dû être dirigées contre l'établissement public Aéroport international de Genève, titulaire de la concession fédérale. Il a ensuite contesté la réalisation des conditions auxquelles la jurisprudence soumet l'octroi d'une indemnité pour expropriation matérielle.
Une audience de conciliation a eu lieu le 18 juin 2003. Ensuite, dans le cours de l'instruction, X._ a produit une décision du département cantonal du 21 janvier 2004, refusant de délivrer à A._ Immobilière l'autorisation de construire (autorisation définitive) requise en vue de la réalisation du projet de groupe de villas pour lequel l'autorisation préalable avait déjà été refusée le 30 juin 2000. Cette décision administrative est fondée sur des dispositions de la législation fédérale en matière de protection contre le bruit, en particulier sur l'<ref-law>, à cause du dépassement des valeurs limites d'exposition au bruit des aérodromes civils.
Le 30 avril 2004, l'Etat de Genève a soulevé l'exception de prescription.
C. Par une décision rendue le 27 mai 2005, la Commission fédérale d'estimation a dit que la demande d'indemnité pour expropriation matérielle n'était pas prescrite (ch. 1 du dispositif) et que les conditions du droit du demandeur à une indemnité pour expropriation matérielle étaient réunies (ch. 2 du dispositif). Un délai d'un mois dès la notification de la décision a été fixé à l'Etat de Genève pour se déterminer sur le montant de l'indemnité (ch. 3 du dispositif). Le sort des frais et dépens a été réservé (ch. 4 du dispositif).
La Commission a admis sa compétence en se référant à l'art. 44 de la loi fédérale sur l'aviation (LA; RS 748.0), qui prévoit l'application par analogie de la procédure d'estimation dans les cas où "la restriction de la propriété foncière par le plan de zone donne droit à une indemnité [équivalant] dans ses effets à une expropriation". Elle a retenu que l'entrée en vigueur, le 1er juin 2001, de l'annexe 5 de l'OPB avait eu pour conséquence de supprimer la vocation à bâtir des deux parcelles litigieuses; elle a assimilé cette nouvelle norme du droit fédéral à un changement d'affectation du sol et considéré que, par rapport à l'inclusion de ces terrains dans la 5e zone lors de l'adoption en 1987 des plans annexés à la LaLAT, il s'agissait d'un déclassement constitutif d'expropriation matérielle selon les critères de la jurisprudence. Enfin, comme la demande d'indemnité a été adressée à la Commission fédérale moins de cinq ans après l'entrée en vigueur de l'annexe 5 de l'OPB, l'exception de prescription a été écartée.
D. Agissant par la voie du recours de droit administratif, l'Etat de Genève demande au Tribunal fédéral d'annuler la décision de la Commission fédérale d'estimation et de débouter X._ de toutes ses conclusions. Il reproche en substance à la Commission d'avoir admis en violation du droit fédéral que l'impossibilité de construire des villas sur les deux parcelles était constitutive d'expropriation matérielle, d'avoir considéré indûment que ces terrains étaient classés dans une zone à bâtir conforme à la loi fédérale sur l'aménagement du territoire, et enfin d'avoir écarté à tort l'exception de prescription.
X._ conclut au rejet du recours. La Commission fédérale d'estimation a renoncé à se déterminer.

Le Tribunal fédéral considère en droit:
1. Conformément à l'art. 77 al. 1 de la loi fédérale sur l'expropriation (LEx; RS 711), la voie du recours de droit administratif (art. 97 ss OJ) est ouverte contre les décisions des commissions d'estimation. La décision attaquée, par laquelle il est statué définitivement sur le principe de l'octroi d'une indemnité, est une décision finale partielle pouvant faire l'objet d'un tel recours, et non pas une décision incidente (cf. <ref-ruling> consid. 4.2 p. 291, 384 consid. 2.3 p. 385 - en relation avec les art. 101 let. a et 106 al. 1 OJ). L'Etat de Genève, qui a agi en première instance en tant qu'"expropriant", a qualité pour recourir (art. 78 al. 1 LEx). Il y a lieu d'entrer en matière.
2. La contestation porte, en l'espèce, sur des conséquences de l'exposition des biens-fonds de l'intimé au bruit du trafic aérien. D'après la décision attaquée, des restrictions de la propriété équivalant à une expropriation résulteraient en l'espèce de l'entrée en vigueur de l'annexe 5 de l'OPB (nouvelle version) le 1er juin 2001 (modification de l'OPB du 30 mai 2001, RO 2001 p. 1610). Le recourant conteste l'obligation d'indemniser le propriétaire intimé à cause de ces restrictions.
2.1 Dans la procédure de recours de droit administratif, le Tribunal fédéral est en principe lié par les conclusions des parties, mais pas par les motifs qu'elles invoquent (art. 114 al. 1 OJ). En l'occurrence, l'Etat de Genève conclut à l'annulation totale de la décision attaquée. Il ne conteste pas la compétence de la Commission fédérale d'estimation mais cette question peut être examinée d'office, dans le cadre des conclusions prises, ce d'autant plus que le Tribunal fédéral est également en cette matière autorité de surveillance (art. 63 LEx; cf. <ref-ruling> consid. 1 p. 540).
2.2 Le droit de l'intimé (demandeur en première instance) à une indemnité pour expropriation matérielle a été reconnu dans le cadre d'une procédure d'estimation régie par la loi fédérale sur l'expropriation (art. 57 ss LEx). Cette procédure est en principe prévue dans les cas d'expropriation formelle; les cas d'expropriation matérielle - où il s'agit de statuer sur des prétentions à une indemnité pour des restrictions de la propriété qui équivalent à une expropriation (cf. notamment art. 26 al. 2 Cst.) - ne sont pas directement visés par la réglementation légale de la procédure d'estimation. Certaines lois fédérales prévoient toutefois expressément la compétence de la commission fédérale d'estimation, et l'application des règles de la procédure d'estimation, dans des cas d'expropriation matérielle. Il en va ainsi, par exemple, pour les restrictions résultant de la création de zones réservées ou de l'adoption de plans d'alignement en vue de la construction de certains ouvrages (cf. art. 18 et 25 de la loi fédérale sur les routes nationales [LRN; RS 725.11]; art. 18u de la loi fédérale sur les chemins de fer [LCdF; RS 742.101]).
Dans le domaine de l'aviation, l'application "par analogie" de la procédure d'estimation des art. 57 ss LEx est également prévue, par l'art. 44 LA, au cas où un "plan de zone" - à savoir un plan des zones de sécurité ou un plan des zones de bruit, autour d'un aérodrome public (art. 42 LA; cf. <ref-ruling> consid. 12 p. 343) - entraînerait des restrictions de la propriété foncière équivalant dans leurs effets à une expropriation. La commission fédérale d'estimation est ainsi compétente pour statuer "lorsque l'existence ou l'étendue des prétentions sont contestées" (art. 44 al. 4 LA); en d'autres termes, elle peut octroyer une indemnité d'expropriation matérielle.
2.3 A Genève, un plan des zones de bruit a été établi dans les années 1970 par le canton, alors concessionnaire et exploitant de l'aéroport. Ce plan a été mis à l'enquête publique en janvier 1979, approuvé par le Conseil fédéral le 8 avril 1987 puis publié le 2 septembre 1987, ce qui lui a donné force obligatoire (cf. <ref-ruling>, p. 320 ss). A cette époque, les prescriptions régissant les plans de zones de bruit - prescriptions que le législateur avait chargé le Conseil fédéral d'adopter (art. 42 al. 1 LA) - étaient contenues dans l'ancienne ordonnance sur la navigation aérienne, du 14 novembre 1973 (ONA). Les deux parcelles de l'intimé avaient été classées en zone de bruit B, où n'étaient pas admis les bâtiments d'habitation, même insonorisés (de tels bâtiments pouvaient en revanche être construits en zone C - cf. art. 62 al. 1 ONA; <ref-ruling>, p. 321).
Dans sa réponse au recours de droit administratif, l'intimé fait valoir que la charge de bruit n'était en réalité, au moment déterminant, pas si importante qu'un classement en zone B fût prescrit; ses deux parcelles auraient pu être utilisées selon le régime de la zone C. Dans diverses affaires soumises au Tribunal fédéral, il a en effet été donné acte à des propriétaires fonciers voisins de l'aéroport que des terrains classés dans la zone B auraient dû finalement être inclus dans la zone C, où les restrictions imposées par l'art. 62 ONA étaient moins sévères (cf. <ref-ruling> consid. 12d p. 346 ss). Quoi qu'il en soit, dans la décision attaquée, la Commission fédérale n'a pas examiné la portée du plan des zones de bruit dans le cas concret; ce ne sont pas les restrictions découlant du régime de la zone B (selon le plan publié en 1987) ou de la zone C (qui, selon toute vraisemblance, auraient été applicables à partir de 1987, en fonction d'une évaluation correcte du niveau de bruit du trafic aérien) qui ont été jugées équivalentes à une expropriation, mais bien des restrictions découlant de l'application de la législation fédérale sur la protection de l'environnement, après une révision récente de l'ordonnance sur la protection contre le bruit.
Précisément, l'art. 42 al. 5 LA réserve (depuis 1995) les prescriptions de la législation fédérale sur la protection de l'environnement. L'adoption d'une réglementation complète sur la protection contre le bruit, dans la loi fédérale sur la protection de l'environnement du 7 octobre 1983 (LPE; RS 814.01) puis dans l'ordonnance sur la protection contre le bruit du 15 décembre 1986 (OPB), a amené le Conseil fédéral à abroger les dispositions qu'il avait édictées, sur la base de l'art. 42 al. 1 LA, au sujet des zones de bruit (cf. ch. III de la modification du 12 avril 2000 de l'ordonnance sur la protection contre le bruit [RO 2000 p. 1388], qui abroge les art. 40 à 47 de l'ordonnance sur l'infrastructure aéronautique [OSIA; RS 748.131.1], articles qui correspondaient aux dispositions de l'ancienne ordonnance sur la navigation aérienne [ONA] concernant les zones de bruit). L'exploitant d'un aéroport n'est donc plus tenu, depuis le 1er mai 2000, d'adopter ou d'actualiser un plan des zones de bruit (cf. à ce propos <ref-ruling> consid. 7.2 p. 403).
2.4 Les restrictions invoquées par l'intimé, dans la présente procédure, résultent directement de l'application du droit fédéral. Il n'est pas exclu que l'entrée en vigueur d'une disposition légale, quand elle a pour effet d'empêcher la délivrance d'autorisations de construire sur un terrain classé dans une zone à bâtir par le plan d'affectation cantonal ou communal, puisse être considérée comme une mesure constitutive d'expropriation matérielle. A tout le moins, il importe de donner au propriétaire foncier concerné la possibilité d'ouvrir action et de présenter des conclusions en paiement à ce titre, notamment quand l'inconstructibilité est concrètement démontrée par le refus d'un permis de construire (cf. <ref-ruling>, où la demande d'indemnité avait été présentée après un refus d'autorisation fondée sur les anciens art. 19 et 20 LPEP; cf. également arrêt P.312/1978 du 30 mai 1979, publié in ZBl 81/1980 p. 354 consid. 6b, où le Tribunal fédéral estime critiquable la conception selon laquelle le refus d'un permis de construire ne peut pas justifier l'ouverture d'une procédure d'expropriation matérielle; cf. Enrico Riva, Hauptfragen der materiellen Enteignung, Berne 1990, p. 220/221).
En matière de protection contre le bruit, la législation fédérale impose, pour la construction sur un terrain classé dans la zone à bâtir, des conditions supplémentaires à celles prévues par le plan d'affectation et son règlement (cf. art. 22 al. 3 LAT, réservant les autres conditions posées par le droit fédéral et le droit cantonal). L'<ref-law> dispose que les permis de construire de nouveaux immeubles destinés au séjour prolongé des personnes ne seront en principe délivrés que si les valeurs limites d'immissions ne sont pas dépassées (des exceptions sont prévues à l'<ref-law> et l'<ref-law> reprend cette réglementation en la précisant). Les valeurs limites d'immissions sont fixées dans des annexes à l'OPB, en fonction de la source de bruit. Pour le bruit des aérodromes civils, la fixation des valeurs limites est intervenue assez tardivement (à l'occasion d'une modification de l'OPB en 2001). Depuis lors, les conséquences de l'application des <ref-law> et 31 OPB sur les terrains en zone à bâtir dans les environs de l'aéroport de Genève sont en principe assez claires. Dans une zone à vocation exclusivement résidentielle, cela peut rendre impossible la construction des bâtiments prévus par le plan d'affectation.
2.5 L'intimé demande, dans la présente procédure, une indemnité pour expropriation matérielle. Il ne prétend pas à une indemnité pour expropriation formelle des droits de voisinage, qui peut être allouée à certaines conditions prévues par la jurisprudence, qu'il n'y a pas lieu de rappeler ici (cf. en particulier, pour le bruit du trafic aérien autour d'un aéroport, <ref-ruling>). Il faut néanmoins examiner si la possibilité d'une procédure pour expropriation formelle de droits de voisinage - parce que le bruit provient d'un aéroport national construit et exploité par une collectivité disposant du droit d'expropriation en vertu de la législation fédérale - exclut par principe une expropriation matérielle, en raison de restrictions ayant également pour origine le bruit de l'aéroport.
Lorsque la législation fédérale sur l'aviation prévoyait encore l'établissement de plans des zones de bruit (cf. supra, consid. 2.3), la jurisprudence retenait que, pour les propriétaires d'immeubles exposés au bruit du trafic aérien - les nuisances entraînant soit une moins-value du bien-fonds, soit des restrictions d'utilisation -, le droit de demander une indemnité pour expropriation (formelle) des droits de voisinage n'excluait pas le droit de faire valoir des prétentions pour expropriation matérielle, sur la base de l'art. 44 LA. Le droit fédéral admettait la coexistence des deux procédures, ce régime juridique excluant toutefois un cumul d'indemnités pour un même préjudice économique (cf. <ref-ruling> consid. 2d et e p. 378). Ultérieurement, le Tribunal fédéral a encore examiné dans quelques arrêts la question de l'expropriation matérielle à la suite du classement d'un bien-fonds dans une zone de bruit; dans les cas qui lui ont été soumis, aucune indemnité n'a été allouée à ce titre (cf. <ref-ruling> consid. 11 ss p. 343 ss; <ref-ruling> consid. 7b p. 20; <ref-ruling> consid. 6 p. 487). Il n'y a cependant pas lieu de revenir dans le présent arrêt sur cette question, dès lors que la restriction litigieuse ne découle pas d'un plan des zones de bruit établi selon les art. 42 ss LA.
D'une façon plus générale, la possibilité de demander une indemnité pour expropriation formelle des droits de voisinage, selon la procédure des art. 57 ss LEx, ne doit pas empêcher le propriétaire concerné d'ouvrir action en paiement d'une indemnité d'expropriation matérielle, quand bien même, concrètement, l'origine de la moins-value ou des restrictions est le caractère excessif des nuisances provenant d'un ouvrage public (aéroport, route nationale, voie de chemin de fer, etc.). Cela étant, sur le fond, il faut dans tous les cas éviter un cumul d'indemnités.
2.6 La loi fédérale sur la protection de l'environnement (LPE) contient, en matière de protection contre le bruit, des normes qui doivent être appliquées par les autorités chargées de l'aménagement du territoire, soit dans le cadre de l'établissement ou de la révision des plans d'affectation soit au stade de l'autorisation de construire. Ces normes entraînent, le cas échéant, des restrictions pour les propriétaires des biens-fonds exposés au bruit.
Si l'indemnité d'expropriation matérielle est demandée à cause d'une inconstructibilité résultant de l'application de l'<ref-law> - restriction qui se concrétise par un refus de permis de construire -, la situation présente une certaine analogie avec un déclassement d'un terrain à bâtir fondé sur l'<ref-law>, disposition selon laquelle les zones à bâtir existantes mais non encore équipées, qui sont destinées à la construction de logements et dans lesquelles les valeurs de planification sont dépassées, doivent en principe être affectées à une utilisation moins sensible au bruit. En règle générale, lorsque des restrictions du droit de propriété résultent de la modification d'un plan d'affectation (cantonal ou communal), pour mettre en oeuvre la législation sur la protection de l'environnement ou pour d'autres motifs d'aménagement du territoire, il incombe à une juridiction cantonale de statuer sur les demandes d'indemnité pour expropriation matérielle, sur la base de l'art. 5 al. 2 LAT et des règles formelles du droit cantonal. Il doit en aller de même lorsque la "mesure d'aménagement" - soit une interdiction de construire certains bâtiments à usage sensible au bruit - est une conséquence directe de l'application de l'<ref-law>; en pareil cas en effet, on aurait également pu concevoir une modification préalable du plan d'affectation pour adapter la réglementation à la situation concrète, en matière de nuisances.
2.7 Ainsi, d'un côté, il faut admettre en principe la compétence des juridictions cantonales pour statuer sur les prétentions des propriétaires qui soutiennent que l'application de l'<ref-law> provoque des restrictions équivalant à une expropriation. D'un autre côté, il y a lieu de constater que dans cette situation - qu'il faut distinguer d'un cas d'expropriation matérielle à cause des restrictions imposées par les anciens plans des zones de bruit -, aucune disposition de la loi fédérale sur l'aviation (LA), de la loi fédérale sur l'expropriation (LEx) ni d'une autre loi fédérale ne prévoit la compétence de la commission fédérale d'estimation. Or on ne saurait étendre la compétence des commissions fédérales d'estimation au-delà des limites fixées par la loi fédérale sur l'expropriation ou par les lois spéciales qui prévoient expressément l'application de la procédure d'estimation, soit directement soit par analogie (cf. supra, consid. 2.2). Les règles sur la compétence matérielle des commissions fédérales d'estimation sont des règles impératives. Hors des cas prévus par la loi, lorsque la contestation ne porte pas sur un cas d'expropriation formelle (dans le cadre fixé par l'art. 64 al. 1 LEx) mais sur une indemnisation pour expropriation matérielle, la commission saisie par un propriétaire doit décliner sa compétence, nonobstant un éventuel accord des parties pour procéder devant elle (cf. <ref-ruling> consid. 3b p. 440; <ref-ruling> consid. 2b p. 413).
Dans la présente affaire, seule la question de la compétence est litigieuse et il n'y a pas lieu d'examiner plus avant à quelles conditions l'application des <ref-law> et 31 OPB pourrait éventuellement justifier l'octroi d'une indemnité d'expropriation matérielle (cette question a également été laissée indécise dans d'autres arrêts: cf. <ref-ruling> consid. 49 p. 596; arrêt 1A.135/2000 du 1er mai 2001, publié in DEP 2001 p. 454, consid. 5; cf. néanmoins, avant l'entrée en vigueur de la LAT et de la LPE, l'arrêt du 30 mai 1979 publié in ZBl 81/1980 p. 354, où le Tribunal fédéral avait refusé de reconnaître un cas d'expropriation matérielle mais réservé l'éventualité d'une expropriation formelle des droits de voisinage, à propos d'un bien-fonds voisin d'une route nationale). Il convient encore de relever que la question de l'expropriation matérielle à cause de l'impossibilité de construire sur un bien-fonds exposé au bruit doit être distinguée de la question de la prise en charge des coûts de murs antibruit ou d'autres ouvrages de protection contre les nuisances, érigés dans le but d'épargner à certains propriétaires fonciers les restrictions découlant des <ref-law> et 31 OPB (question se posant du reste plutôt aux abords des routes et des voies de chemin de fer qu'aux environs des aéroports). Cette dernière question a été évoquée dans deux arrêts du Tribunal fédéral (<ref-ruling> consid. 5b p. 88; <ref-ruling>). Les considérations à ce sujet, notamment quant à la procédure à suivre (expropriation formelle, expropriation matérielle) ou à la portée du principe de causalité (<ref-law>), ne sont pas directement pertinentes là où il n'est pas question de réaliser des ouvrages de protection contre le bruit.
2.8 Il résulte des considérants précédents que, dans le cas particulier, c'est en violation du droit fédéral que la Commission fédérale d'estimation a admis sa compétence pour statuer sur les prétentions de l'intimé. Il se justifie donc, conformément aux conclusions du recourant, d'annuler la décision attaquée.
Dès lors qu'elle est incompétente, la Commission n'a pas à statuer à nouveau sur les prétentions de l'intimé, ni à transmettre d'office les actes de la procédure à une autre autorité. Il appartient à l'intimé de décider s'il entend ouvrir action devant la juridiction cantonale compétente, en observant les règles formelles du droit cantonal.
3. Le présent arrêt met un terme à la procédure ouverte devant la Commission fédérale d'estimation, sur la base des art. 57 ss LEx, par le dépôt de la demande du 23 octobre 2002.
L'affaire doit être renvoyée à l'autorité inférieure uniquement pour qu'elle statue sur les frais de la procédure de première instance (indemnités journalières des membres de la Commission, émoluments et débours) conformément aux dispositions de l'ordonnance sur les émoluments et indemnités à percevoir dans la procédure d'expropriation (RS 711.3).
Il y a lieu de statuer, dans le présent arrêt, sur les dépens dus pour la procédure devant la Commission fédérale d'estimation ainsi que sur les frais et dépens pour la procédure devant le Tribunal fédéral. Les dispositions spéciales de la loi fédérale sur l'expropriation sont applicables et, conformément aux art. 115 al. 1 et 116 al. 1 LEx, les frais et dépens doivent être mis à la charge de l'Etat de Genève, qui n'avait du reste pas contesté la compétence de la Commission fédérale d'estimation.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit administratif est admis et la décision rendue le 27 mai 2005 par la Commission fédérale d'estimation du 1er arrondissement est annulée.
2. L'affaire est renvoyée à la Commission fédérale d'estimation du 1er arrondissement pour décision sur les frais de la procédure de première instance.
3. Un émolument judiciaire de 2'000 fr., pour la procédure de recours de droit administratif, est mis à la charge de l'Etat de Genève.
4. Une indemnité globale de 4'000 fr., à payer à X._ à titre de dépens pour la procédure devant la Commission fédérale d'estimation et la procédure de recours de droit administratif, est mise à la charge de l'Etat de Genève.
5. Le présent arrêt est communiqué en copie aux mandataires des parties et à la Commission fédérale d'estimation du 1er arrondissement.
Lausanne, le 5 septembre 2006
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le président: Le greffier: