Faits: A. Le 12 décembre 2006, A._ circulait au volant de son véhicule à Genève, lorsqu'il a eu une altercation avec un autre automobiliste, B._. Ce dernier lui reprochait de ne pas s'être arrêté à un "stop", alors que A._ lui faisait grief de circuler trop vite. Les deux automobilistes ont échangé des injures et A._ est descendu de son véhicule pour asséner un coup de poing à B._, qui a finalement déposé une plainte pénale. Cette plainte a été classée sans suite, mais les faits ont été portés à la connaissance du Service des automobiles et de la navigation du canton de Genève (ci-après: le SAN). Par décision du 6 mars 2007, le SAN a ordonné le retrait du permis de conduire de A._ pour une durée de trois mois, en application de l'art. 16c de la loi fédérale sur la circulation routière (LCR; RS 741.01), au motif que l'intéressé n'avait pas accordé la priorité en quittant un "stop", qu'il s'était arrêté de manière inopinée sans nécessité, qu'il avait gêné la circulation et qu'il avait eu une altercation avec un autre usager de la route. Il qualifiait cette infraction de grave. B. Par arrêt du 27 novembre 2007, le Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif) a rejeté le recours formé par A._ contre cette décision. Il retenait notamment en fait que l'intéressé avait reconnu s'être conduit d'une manière inappropriée et considérait en droit qu'en l'absence de toute procédure pénale il convenait de se fonder "sur les faits tels qu'ils résultent de la déclaration-plainte de M. B._ pour admettre que M. A._ n'a pas respecté le stop". Le Tribunal administratif considérait qu'il s'agissait d'une infraction grave au sens de l'art. 16c al. 1 let. a LCR, l'intéressé ayant mis en danger la sécurité d'autrui. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler cet arrêt ainsi que la décision du SAN du 6 mars 2007. Il se plaint d'une violation de l'art. 16c LCR. Il requiert en outre l'octroi de l'effet suspensif. Le Tribunal administratif se réfère à l'arrêt attaqué. L'Office fédéral des routes s'est déterminé; il conclut à l'admission du recours. Le SAN n'a pas présenté d'observations. D. Par ordonnance du 8 février 2008, le Président de la Ire Cour de droit public a accordé l'effet suspensif au recours.