Faits:
A. Le 26 juin 2007, le Service genevois des automobiles et de la navigation (SAN) a retiré pour dix-huit mois le permis de conduire de A._; entre le 20 janvier et le 16 février 2007, à l'entrée de Bellevue, l'intéressé avait dépassé à huit reprises la vitesse autorisée (60 km/h); ces dépassements allaient de 24 à 37 km/h. A._ avait fait l'objet d'un avertissement le 14 juin 2000, puis de trois retraits de permis de 2 mois (17 janvier 2000), 1 mois (5 décembre 2003) et 6 mois (22 août 2006) pour des infractions graves. Par application de la lex mitior, l'art. 16c al. 2 let. d LCR n'a pas été appliqué, certains antécédents datant d'avant l'entrée en vigueur du nouveau droit. Toutefois, en raison du cumul d'infractions, il y avait lieu de s'écarter du minimum légal de douze mois prescrit à l'art. 16c al. 2 let. c LCR.
B. Par arrêt du 9 octobre 2007, le Tribunal administratif genevois a rejeté le recours formé par A._: trois des excès de vitesse constituaient des infractions graves (dépassement de plus de 30 km/h). Le concours de huit infractions justifiait une majoration de la durée minimale du retrait. Le recourant n'invoquait pas de besoin professionnel déterminant.
C. Par acte du 15 novembre 2007, l'Office fédéral des routes (OFROU) forme un recours en matière de droit public contre l'arrêt du Tribunal administratif. Il conclut à l'annulation de cet arrêt et au prononcé d'un retrait définitif du permis de conduire en application de l'art. 16d al. 3 LCR. Subsidiairement, il demande le renvoi de la cause au SAN afin de déterminer si A._ est incorrigible ou inapte à la conduite; dans cette perspective, le permis de conduire devrait être retiré à titre provisoire en application de l'art. 30 OAV. A titre de mesure provisionnelle, l'OFROU demande qu'il soit interdit à l'intimé de conduire un véhicule automobile durant la procédure.
Le Tribunal administratif se réfère à son arrêt. A._ conclut à l'irrecevabilité, subsidiairement au rejet du recours. Il conclut à l'octroi de l'effet suspensif, mais dans le sens d'une suspension de la mesure de retrait de permis.
Par ordonnance présidentielle du 14 décembre 2007, les demandes de mesures provisionnelles et d'effet suspensif ont été rejetées.
Considérant en droit:
1. La voie du recours en matière de droit public, au sens des art. 82 ss LTF, est ouverte contre une décision de dernière instance cantonale au sujet d'une mesure administrative de retrait du permis de conduire.
1.1 Selon l'art. 89 al. 2 let. a LTF, si le droit fédéral le prévoit, les unités subordonnées aux départements fédéraux ont qualité pour recourir contre les décisions susceptibles de violer la législation fédérale dans leur domaine d'attribution. Selon l'art. 10 al. 4 de l'ordonnance sur l'organisation du DETEC (Org DETEC, RS 172.217.1), l'OFROU a qualité pour recourir au Tribunal fédéral contre les décisions rendues en dernière instance cantonale en matière de circulation routière. Les autorités cantonales sont tenues de lui notifier ces décisions.
1.2 L'intimé estime que les conclusions de l'OFROU seraient nouvelles et donc irrecevables en vertu de l'art. 99 al. 2 LTF, puisqu'elles n'auraient pas été présentées devant la cour cantonale. De même, les faits allégués à l'appui de ces conclusions - soit la prétendue incapacité de conduire un véhicule automobile - seraient également nouveaux car ils n'ont pas été allégués par les parties en instance cantonale. Une admission du recours de l'OFROU violerait par ailleurs l'interdiction de la reformatio in peius.
1.2.1 L'autorité fédérale n'ayant eu connaissance de la procédure qu'après notification de l'arrêt cantonal, on ne saurait lui reprocher, comme le fait l'intimé, de ne pas avoir présenté plus tôt ses conclusions, ni allégué les faits à l'appui de celles-ci. Par ailleurs, l'autorité compétente qui dispose d'un droit d'intervention afin d'assurer une application uniforme du droit fédéral peut requérir, dans ce cadre, une modification de l'objet de la contestation, soit en l'occurrence le prononcé d'un retrait de sécurité en lieu et place d'un retrait d'admonestation. Pour la même raison, l'interdiction de la reformatio in peius, applicable devant la cour cantonale (art. 69 al. 1 de la loi genevoise sur la procédure administrative), ne l'est pas devant le Tribunal fédéral. Le droit d'être entendu des intéressés doit toutefois être respecté (art. 29 al. 2 Cst.).
2. L'OFROU relève les antécédents de l'intimé; celui-ci mettrait délibérément en péril sa vie et celle des autres usagers de la route, et devrait être qualifié de conducteur incorrigible au sens de l'art. 16d al. 3 LCR. A tout le moins, un examen d'aptitude devrait être ordonné en application de l'art. 14 al. 2 let. d LCR, et le permis retiré à titre préventif.
L'intimé relève que depuis son dernier excès de vitesse le 16 février 2007, il n'a commis aucune infraction aux règles de la route; le pronostic serait donc favorable. Tant le SAN que le Tribunal administratif auraient apprécié correctement les faits.
2.1 Conformément à l'art. 16 al. 1 LCR, le permis de conduire doit être retiré lorsque l'autorité constate que les conditions légales de sa délivrance, énoncées par l'art. 14 LCR, ne sont pas ou plus remplies. Ainsi, le permis doit notamment être retiré pour une durée indéterminée à la personne qui, en raison de son comportement antérieur, ne peut garantir qu'à l'avenir elle observera les prescriptions et fera preuve d'égards envers autrui en conduisant un véhicule automobile. Cette dernière disposition reprend la règle de l'art. 17 al. 1bis aLCR, qui prévoyait notamment que le permis devait être retiré pour une durée indéterminée si le conducteur n'était pas apte à conduire pour des raisons d'ordre caractériel.
Un retrait du permis fondé sur cette disposition n'est possible que s'il existe des indices suffisants que l'intéressé conduira sans observer les prescriptions et sans égard pour autrui (ATF 125 II 492 consid. 2a p. 495). Un retrait de sécurité en raison d'une inaptitude caractérielle se justifie, même en l'absence d'un état pathologique, s'il ressort du comportement extérieur du conducteur que celui-ci ne présente pas la garantie d'observer les prescriptions et de respecter autrui lorsqu'il est au volant, c'est-à-dire lorsqu'un pronostic défavorable doit être posé quant au comportement futur de l'intéressé. L'art. 16d al. 1 LCR est notamment applicable lorsqu'un conducteur a violé délibérément les règles de la circulation routière de manière réitérée, de sorte que son comportement le fait apparaître comme susceptible de ne pas respecter, consciemment ou non, ces règles et de ne pas avoir égard à autrui (même arrêt; arrêts non publiés 1C_99/2007 du 13 juillet 2007 et 1C_307/2007 du 17 décembre 2007).
La décision de retrait de sécurité du permis de conduire constitue une atteinte grave à la sphère privée de l'intéressé; elle doit donc reposer sur une instruction précise des circonstances déterminantes (ATF 133 II 284 consid. 3.1; cf. en ce qui concerne le retrait justifié par des raisons médicales ou l'existence d'une dépendance: ATF 129 II 82 consid. 2.2 p. 84; 127 II 122 consid. 3b p. 125). Le pronostic doit être posé sur la base des antécédents du conducteur et de sa situation personnelle (ATF 125 II 492 consid. 2a p. 495). En cas de doute, il y a lieu d'ordonner un examen psychologique ou psychiatrique (arrêt 1C_321/2007 du 17 décembre 2007, consid. 3.2).
2.2 En l'espèce, l'intimé s'est vu retirer un permis de conduire étranger, en janvier 2000, pour s'être endormi alors qu'il circulait sur l'autoroute. En juin 2000, il a reçu un avertissement pour un dépassement de vitesse sur l'autoroute. Au mois de décembre 2003, son permis étranger lui a été retiré pour un mois, pour un dépassement de 30 km/h de la vitesse sur autoroute. Au mois d'août 2006, un retrait de six mois a été prononcé, pour un dépassement de 30 km/h de la vitesse autorisée en localité, puis pour conduite en état d'ébriété (1,25 ‰ de taux d'alcool). Les huit excès de vitesse - dont trois de plus de 30 km/h - ayant donné lieu à la décision du SAN du 26 juin 2007 ont été commis dès le 20 janvier 2007, soit neuf jours seulement après la restitution de son permis.
A l'évidence, les différentes sanctions prises contre le recourant n'ont eu aucun effet sur son comportement. Il existe donc des raisons de penser qu'il n'y a pas de garanties suffisantes qu'à l'avenir l'intéressé observera les prescriptions et fera preuve d'égards envers autrui. Cela imposerait un retrait du permis pour une durée indéterminée, au sens de l'art. 16d al. 1 let. c LCR; contrairement à ce que soutient l'intimé, il ne s'agit pas là d'une norme potestative qui permettrait à l'autorité de n'infliger au préalable qu'un avertissement. En négligeant de s'interroger, dans un tel cas, sur l'aptitude à conduire de l'intimé, et en omettant d'établir clairement les faits sur ce point, le SAN puis la cour cantonale ont violé le droit fédéral.
2.3 L'admission du recours entraîne l'annulation de l'arrêt cantonal. L'OFROU conclut principalement à ce que le Tribunal fédéral prononce lui-même un retrait de sécurité de cinq ans au minimum. Une telle mesure ne saurait être prise que dans les cas évidents (cf. par exemple arrêt 6A.7/2000 du 17 mai 2000, dans lequel l'intéressé avait clairement déclaré qu'il entendait persévérer à violer les règles de la circulation). En l'espèce, il y aura lieu d'instruire sur l'aptitude caractérielle de l'intimé, et celui-ci devra pouvoir participer à l'administration des preuves sur ce point. La cause doit dont être renvoyée au SAN, pour nouvelle décision.
2.4 L'OFROU demande aussi, en cas de renvoi à l'autorité de première instance, que le permis soit retiré à titre provisoire en application de l'art. 30 OAC. Aux termes de cette disposition, le permis d'élève conducteur ou le permis de conduire peut être retiré à titre préventif lorsqu'il existe des doutes sérieux quant à l'aptitude à conduire de l'intéressé. Cette disposition institue une mesure provisoire destinée à protéger les intérêts menacés jusqu'à l'issue de la procédure principale portant sur un retrait de sécurité. L'expertise ordonnée dans cette procédure doit être exécutée dans les meilleurs délais, afin que le permis puisse être restitué au plus vite à son titulaire s'il n'y a pas lieu de prononcer un retrait de sécurité (cf. ATF 125 III 396 consid. 3 p. 401). Lorsqu'il existe des indices d'inaptitude suffisants pour justifier l'ouverture d'une procédure portant sur un éventuel retrait de sécurité, les conditions d'un retrait préventif sont en principe remplies.
La cause étant renvoyée au SAN, il appartiendra également à cette autorité, en tant qu'instance de décision sur le fond, de prononcer un éventuel retrait provisoire durant la procédure: l'autorité de première instance est en effet mieux à même d'apprécier, dans le cadre de la pesée des intérêts, si l'intimé peut être considéré comme une source de danger particulière pour les autres usagers de la route (ATF 125 II 492 consid. 2b p. 495); par ailleurs, c'est à la même autorité qu'il appartiendra le cas échéant de rapporter la mesure provisoire s'il apparaît, après expertise, qu'elle n'était pas justifiée (ATF 125 II 396 consid. 3 p. 401).
3. Le recours doit par conséquent être admis; l'arrêt attaqué est annulé et la cause est renvoyée au service genevois des automobiles et de la navigation pour nouvelle décision, après avoir le cas échéant soumis l'intimé à une expertise. Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont mis à la charge de l'intimé, qui succombe. Il n'est pas alloué de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée au Service des automobiles et de la navigation du canton de Genève pour nouvelle décision au sens des considérants.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge de l'intimé A._.
3. Le présent arrêt est communiqué aux parties, au Service des automobiles et de la navigation et au Tribunal administratif du canton de Genève.
Lausanne, le 7 mars 2008
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz