Faits:
A. A._, né en 1965, exerce la profession de chauffeur de taxi. Il est titulaire d'un permis délivré le 23 janvier 1984. Entre 1995 et 2010, l'intimé a fait l'objet de plusieurs retraits de permis de conduire d'une durée d'un mois (22 mai 1995, 26 février 1996, 5 août 1997, 27 juin 2002, 4 novembre 2005) et de deux mois (12 novembre 1998) en raison d'excès de vitesse. Il s'est également vu retirer le permis pendant une durée de huit mois pour conduite malgré un retrait de permis (12 mars 1999), respectivement d'un mois pour non-respect de la priorité à un passage piéton (29 mai 2009). Il a fait l'objet d'un avertissement notamment pour vitesse inadaptée et inobservation de la signalisation lumineuse et de l'ordre de présélection (8 novembre 2007). Enfin, les 4 et 13 février 2009, il a dépassé la vitesse autorisée en localité.
Le 17 juin 2010, à 05h01, A._ circulait, par temps de pluie, sur le chemin du Pommier, à Genève, en direction du chemin Moïse-Duboule au volant de son taxi lorsqu'il a percuté avec l'avant gauche de son véhicule un platane situé au milieu de la chaussée sur une zone herbeuse; au moment du choc, le conducteur ne regardait pas la route car il lisait un journal posé sur le siège passager. L'impact a été tel que l'arbre a été déraciné et la voiture retournée sur le toit.
Par décision du 7 septembre 2010, l'Office cantonal des automobiles et de la navigation du canton de Genève (OCAN) a retiré pour trois mois le permis de conduire à A._, l'infraction étant qualifiée de grave. En raison des besoins professionnels de l'intéressé, l'OCAN a renoncé à s'écarter du minimum légal (<ref-law>; infraction grave) en dépit des mauvais antécédents. Par décision du 22 novembre 2010, la Commission cantonale de recours en matière administrative du canton de Genève (CCRA) a confirmé la décision de l'OCAN.
B. Par arrêt du 8 février 2011, la Cour de justice du canton de Genève (ci-après: la cour cantonale) a rejeté le recours formé par A._. Elle a confirmé que la perte de maîtrise du véhicule constituait une infraction grave et que, par conséquent, un retrait de permis d'une durée inférieure au minimum légal de trois mois ne pouvait être prononcé.
C. Par acte du 21 mars 2011, l'Office fédéral des routes (OFROU) forme recours contre l'arrêt de la cour cantonale. Il conclut à l'annulation de cet arrêt et au renvoi de la cause à l'OCAN pour déterminer, au moyen d'un examen psychologique, si l'intimé est apte, d'un point de vue caractériel, à la conduite. A titre subsidiaire, l'OFROU requiert un retrait de permis d'une durée minimale de six mois, en application de l'<ref-law> (infraction grave avec retrait de permis dans les cinq ans précédents).
La cour cantonale se réfère à son arrêt. L'OCAN reconnaît une violation du droit fédéral dès lors que le retrait de permis aurait dû être prononcé pour une durée de six mois conformément à l'<ref-law>; enfin, il s'en remet à justice s'agissant de la question préalable de l'aptitude à conduire. L'intimé s'est déterminé et a conclu implicitement au rejet du recours.

Considérant en droit:
1. 1.1 La voie du recours en matière de droit public, au sens des <ref-law>, est ouverte contre une décision prise en dernière instance cantonale au sujet d'une mesure administrative de retrait du permis de conduire.
1.2 Selon l'<ref-law>, en relation avec l'art. 10 al. 4 de l'ordonnance du 6 décembre 1999 sur l'organisation du Département fédéral de l'environnement, des transports, de l'énergie et de la communication (Org DETEC, RS 172.217.1), l'OFROU a la qualité pour recourir au Tribunal fédéral contre les décisions rendues en dernière instance cantonale en matière de circulation routière. Les autres conditions de recevabilité du recours sont réunies, de sorte qu'il convient d'entrer en matière sur le fond.
1.3 L'OFROU qui dispose d'un droit d'intervention afin d'assurer une application uniforme du droit fédéral peut requérir une modification de l'objet de la contestation, soit en l'occurrence le prononcé d'un retrait de sécurité en lieu et place d'un retrait d'admonestation. Pour la même raison, l'interdiction de la reformatio in pejus, applicable devant la cour cantonale (art. 69 al. 1 de la loi genevoise sur la procédure administrative), ne l'est pas devant le Tribunal fédéral (<ref-ruling> consid. 2b p. 157 et les arrêts cités). Le droit d'être entendu de l'intéressé doit toutefois être respecté (art. 29 al. 2 Cst.; arrêt 1C_189/2008 du 8 juillet 2008 consid. 1.2). En l'occurrence, l'intimé s'est déterminé sur le recours, ce qui satisfait à cette exigence.
2. L'OFROU relève les nombreux antécédents de l'intimé. Les mesures prises à son encontre n'auraient eu aucun effet. Son comportement indiquerait qu'il ne se soucierait nullement du respect des limitations de vitesse et de la sécurité des autres usagers de la route. En particulier, l'OFROU constate que l'intéressé ne serait pas conscient d'avoir commis une faute lors de l'accident du 17 juin 2010, et notamment qu'il aurait pu mettre en danger la sécurité de tiers. Dans ces circonstances, un examen psychologique ou psychiatrique aurait dû être ordonné afin de déterminer l'aptitude de l'intimé.
2.1 Conformément à l'<ref-law>, le permis de conduire doit être retiré lorsque l'autorité constate que les conditions légales de sa délivrance, énoncées par l'<ref-law>, ne sont pas ou plus remplies. Ainsi, le permis doit notamment être retiré pour une durée indéterminée à la personne qui, en raison de son comportement antérieur, ne peut garantir qu'à l'avenir elle observera les prescriptions et fera preuve d'égards envers autrui en conduisant un véhicule automobile (art. 16d al. 1 let. c LCR). Un retrait du permis fondé sur cette disposition n'est possible que s'il existe des indices suffisants que l'intéressé conduira sans observer les prescriptions et sans égard pour autrui (<ref-ruling> consid. 2a p. 495). Un retrait de sécurité en raison d'une inaptitude caractérielle se justifie, même en l'absence d'un état pathologique, s'il ressort du comportement extérieur du conducteur que celui-ci ne présente pas la garantie d'observer les prescriptions et de respecter autrui lorsqu'il est au volant, c'est-à-dire lorsqu'un pronostic défavorable doit être posé quant au comportement futur de l'intéressé. L'<ref-law> est notamment applicable lorsqu'un conducteur a violé délibérément les règles de la circulation routière de manière réitérée, de sorte que son comportement le fait apparaître comme susceptible de ne pas respecter, consciemment ou non, ces règles et de ne pas avoir égard à autrui (arrêts 1C_189/2008 du 8 juillet 2008 consid. 2.1 et 1C_321/2007 du 17 décembre 2007 consid. 3.2).
La décision de retrait de sécurité du permis de conduire constitue une atteinte grave à la sphère privée de l'intéressé; elle doit donc reposer sur une instruction précise des circonstances déterminantes (<ref-ruling> consid. 3.1; cf. en ce qui concerne le retrait justifié par des raisons médicales ou l'existence d'une dépendance: <ref-ruling> consid. 2.2 p. 84; <ref-ruling> consid. 3b p. 125). Le pronostic doit être posé sur la base des antécédents du conducteur et de sa situation personnelle (<ref-ruling> consid. 2a p. 495). En cas de doute, il y a lieu d'ordonner un examen psychologique ou psychiatrique (<ref-law>; <ref-ruling> consid. 2a p. 495; arrêt 1C_321/2007 du 17 décembre 2007 consid. 3.2).
2.2 En l'espèce, le recourant s'est vu retirer à six reprises son permis de conduire pour une durée d'un mois et une fois pour deux mois, pour des dépassements de la vitesse autorisée (à l'exception d'un cas pour non-respect de la priorité à un passage piéton), auxquels s'ajoutent un retrait de huit mois pour conduite sous le coup d'un retrait de permis ainsi qu'un avertissement. Au total, entre 1995 et 2009, douze incidents impliquant l'intimé ont été constatés, dont neuf excès de vitesse. Quant à la perte de maîtrise du véhicule ayant motivé la décision de retrait de permis du 7 septembre 2010, elle a été qualifiée d'infraction grave par les autorités cantonales. Enfin, l'attention de l'intimé avait été attirée en 1999 sur le fait que s'il persistait à enfreindre les règles sur la circulation routière, il pourrait être considéré comme un conducteur incorrigible et un retrait de permis à titre définitif pourrait être prononcé.
2.3 A l'évidence, les nombreuses sanctions prises contre l'intimé - soit un avertissement et des retraits de permis allant jusqu'à huit mois - n'ont eu aucun effet sur son comportement, comme en témoigne le dernier accident survenu dans des circonstances accablantes. Il existe donc de sérieuses raisons de penser qu'il n'y a pas de garanties suffisantes qu'à l'avenir l'intéressé observera les prescriptions et fera preuve d'égards envers autrui. Cela imposerait un retrait du permis pour une durée indéterminée, au sens de l'art. 16d al. 1 let. c LCR. Le fait que l'intimé ne circulait pas dans l'exercice de sa profession de chauffeur de taxi au moment de l'accident du 17 juin 2010, ne modifie en rien la gravité de la faute commise; cette circonstance est sans incidence sur les doutes évidents que l'on peut avoir quant à son comportement au volant d'un véhicule automobile. En négligeant de s'interroger, dans un tel cas, sur l'aptitude à conduire de l'intimé, et en omettant d'établir clairement les faits sur ce point, les autorités cantonales ont violé le droit fédéral.
3. Le recours doit par conséquent être admis; l'arrêt attaqué est annulé et la cause est renvoyée à l'OCAN pour nouvelle décision, après avoir le cas échéant soumis l'intimé à une expertise au sens de l'<ref-law>. Il conviendra également à l'OCAN d'examiner s'il y a lieu de prononcer un retrait préventif du permis (<ref-law>).
Il s'ensuit que la conclusion subsidiaire de l'OFROU quant à la question de la durée minimale du retrait d'admonestation (<ref-law>) est, à ce stade, sans objet.
4. Conformément à l'<ref-law>, les frais judiciaires sont mis à la charge de l'intimé, qui succombe. Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'Office cantonal des automobiles et de la navigation du canton de Genève pour nouvelle décision au sens des considérants.
2. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge de l'intimé A._.
3. Le présent arrêt est communiqué aux parties, à l'Office cantonal des automobiles et de la navigation ainsi qu'à la Cour de justice du canton de Genève, Chambre administrative.
Lausanne, le 14 juin 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Fonjallaz Arn