Faits:
A. G._ est titulaire d'un CFC de mécanicien en automobiles et d'une maîtrise fédérale de mécanicien sur automobiles. Il a dirigé le garage X._ d'octobre 2000 à juin 2009, où il accomplissait aussi bien des travaux administratifs que des travaux en atelier. Depuis le mois d'août 2009, il travaille en qualité de directeur commercial de la société X._ SA, laquelle a repris les actifs et passifs de l'entreprise exploitée précédemment sous la forme d'une raison individuelle (cf. contrat de travail du 1er décembre 2009).
Le 13 février 2005, l'assuré s'est fracturé le poignet gauche. La CNA, qui a pris le cas en charge, lui a alloué une rente d'invalidité de 50 % depuis le 1er mai 2007, à la suite d'une transaction conclue le 20 mars 2008 (décision du 11 juillet 2008).
Le 14 décembre 2006, G._ a déposé une demande de prestations de l'assurance-invalidité, que l'Office de l'assurance-invalidité du canton de Genève (l'office AI) a rejetée par décision du 10 février 2009. Cette décision a été annulée par le Tribunal cantonal des assurances sociales et la cause a été renvoyée à l'office AI pour instruction complémentaire au sens des considérants et nouveau jugement. S'agissant des activités de l'assuré, la part exacte de celles qu'il ne pouvait plus exercer ainsi que celles qui étaient encore exigibles n'avait pas été établie à satisfaction; en outre, la part des travaux en atelier considérés comme légers ou adaptés, susceptibles d'être accomplis avec un rendement de 100 %, restait inconnue, tandis que l'incidence de la diminution du rendement sur la situation économique concrète de l'assuré n'avait pas été déterminée (jugement du 1er octobre 2009).
Par lettre du 11 janvier 2010 adressée à l'office AI, l'assuré s'est référé au contrat de travail qu'il avait conclu le 1er décembre 2009 avec la société X._ SA. Il précisait qu'il avait été nommé en qualité de directeur commercial de ladite société, pour un taux d'activité de 50 % et un salaire de 5'000 fr. versé 13 fois l'an; des documents contractuels, il ressortait que sa tâche principale consistait dans la supervision générale de l'entreprise, le contact avec la clientèle et la vente de véhicules.
Dans une note de travail du 12 avril 2010, suivie d'un rapport du 14 juin 2010, le collaborateur du Service des indépendants de l'office AI s'est référé à une audition de l'assuré qui avait eu lieu le 8 avril 2010. Il relevait un manque de coopération et indiquait que les réponses ne lui paraissaient pas sincères. En l'état du dossier, le collaborateur de l'office AI a pondéré les champs d'activités de l'assuré de la manière suivante: 50 % pour les tâches de direction, 40 % pour les travaux lourds de mécanique, 10 % pour les travaux légers. Dans un avis médical du 3 juin 2010, le docteur V._, médecin au Service médical Y._, a estimé que la capacité de travail de l'assuré était de 60 % dans son activité habituelle.
Par décision du 14 septembre 2011, consécutive à un projet du 14 juillet 2011, l'office AI a rejeté la demande de prestations, après avoir repris la pondération des activités effectuée par l'enquêteur. En appliquant les salaires de référence usuels dans les branches à chaque activité partielle (selon l'Enquête suisse sur la structure des salaires 2006, table TA7, ch. 12 et 23, niveau 3 pour un homme), il a fixé le revenu sans invalidité à 77'028 fr. Compte tenu d'une incapacité totale de travail dans les travaux lourds, le revenu d'invalide a été arrêté à 47'441 fr. La perte de gain de 21'578 fr. qui s'en suivait atteignait ainsi 38 %, soit un degré insuffisant pour ouvrir droit à la rente (cf. rapport du Service extérieur / Service des indépendants de l'office AI, du 14 juin 2010).
B. G._ a déféré cette décision à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, en concluant à l'octroi d'une demi-rente d'invalidité dès le 13 février 2006.
La juridiction cantonale l'a débouté par jugement du 23 mai 2012.
C. G._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, avec suite de frais et dépens, en concluant principalement au versement d'une demi-rente d'invalidité à compter du 13 février 2006, subsidiairement au renvoi de la cause aux premiers juges.
L'intimé conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le litige porte sur le droit du recourant à une rente d'invalidité, singulièrement sur le taux d'invalidité à la base de cette prestation.
En particulier, est contestée la pondération des activités du recourant dont l'intimé et les premiers juges ont tenu compte lors de l'application de la méthode extraordinaire d'évaluation de l'invalidité. Le recours à cette méthode, en application du jugement de renvoi du 1er octobre 2009 (cf. consid. 7 et 9), est conforme au droit fédéral dès lors qu'il n'est pas possible de déterminer directement de manière fiable les revenus à comparer (ATF 128 V 29; arrêt 9C_236/2009 du 7 octobre 2009 consid. 3.2 et 3.3, in SVR 2010 IV n° 11 p. 35; ULRICH MEYER, Bundesgesetz über die Invalidenversicherung, 2e éd., p. 299).
2. La juridiction cantonale a considéré que la pondération des activités retenue par l'intimé ne prêtait pas le flanc à la critique. Notamment, elle a rappelé qu'on pouvait exiger du recourant, en vertu de son obligation de réduire le dommage, qu'il réorganisât son entreprise et augmentât le temps consacré aux travaux de direction et d'administration. La part de 50 % dévolue aux activités commerciales et de direction apparaissait comme un minimum exigible au vu du développement de l'entreprise, d'autant qu'à la suite de la réorganisation de 2009, le recourant avait formalisé ce fait par un contrat de travail. En ce qui concerne la ventilation des activités pratiquées en atelier, les juges cantonaux ont admis que la part des activités légères, soit 10 % au total, n'apparaissait pas déraisonnable et devait être entérinée.
3. Le recourant soutient que les faits ont été établis de manière manifestement inexacte. Il estime que l'office intimé n'a pas rempli la mission que le tribunal cantonal lui avait donnée dans le jugement de renvoi du 1er octobre 2009, car le complément d'instruction mis en oeuvre avait consisté uniquement en une audition dans les bureaux de l'office intimé, laquelle se serait mal déroulée. Selon le recourant, les éléments retenus à cette occasion sont manifestement inexacts, en particulier la pondération des champs d'activités qu'il n'a jamais admise. Dans ce contexte, le recourant précise qu'il avait clairement expliqué au fonctionnaire enquêteur les motifs pour lesquels les travaux lourds ne pouvaient pas être dissociés des travaux légers en atelier. Il soutient que les premiers juges, qui n'ont pas suivi son point de vue, n'auraient pas dû se contenter d'une note de travail de l'intimé reflétant le contenu d'un entretien contesté dont il n'avait de surcroît pas signé le compte-rendu, pour reconnaître l'existence de travaux légers. Le recourant rappelle que le seul document qu'il avait signé émanait de la CNA (procès-verbal du 15 janvier 2007), dans lequel le temps voué à l'activité commerciale était fixé à 25 %. Par ailleurs, le recourant se réfère à la Circulaire sur l'invalidité et l'impotence dans l'assurance-invalidité de l'OFAS (au 1er janvier 2012), ch. 3103 à 3106, où il est fait état, à titre d'exemple pour l'application de la méthode extraordinaire, du cas d'un garagiste indépendant consacrant 20 % de son temps aux tâches de direction. Le recourant en déduit que la prise en compte d'un taux de 50 % pour les tâches administratives et de direction, par la juridiction cantonale, était manifestement inexacte. Finalement, il estime qu'une demi-rente de l'AI devrait lui être accordée, afin que les décisions de l'AI et de la CNA soient harmonisées.
4. 4.1 Devant le Tribunal fédéral, le recourant renouvelle les critiques qu'il a soulevées à propos du projet de décision de l'intimé du 14 juillet 2011 (lettre du 12 septembre 2011) et qu'il a ensuite reprises dans son recours cantonal (du 12 octobre 2011). Il se prévaut ainsi implicitement d'une violation des art. 43 et 61 let. c LPGA, en alléguant d'une part que l'intimé aurait mal exécuté le jugement de renvoi du 1er octobre 2009, d'autre part que les premiers juges auraient à leur tour constaté les faits pertinents de façon manifestement inexacte.
4.2 Le degré d'invalidité fixé par la CNA (50 %) résulte d'une transaction et ne lie pas l'intimé, pour les motifs pertinents exposés au consid. 6 du jugement du 1er octobre 2009. Le moyen tiré de la nécessité d'harmoniser les degrés de l'invalidité entre l'assurance-invalidité et l'assurance-accidents n'a dès lors aucun fondement.
4.3 Avec les premiers juges, on doit admettre que la part de 50 % consacrée aux activités commerciales et de direction apparaît comme un minimum au vu du développement de l'entreprise, d'autant qu'à la suite de la réorganisation de 2009, le recourant a formalisé ce fait par un contrat de travail (du 1er décembre 2009). A cet égard, les faits constatés n'apparaissent pas manifestement inexacts et les griefs du recourant sont infondés.
4.4 En revanche, la manière dont l'office intimé a fixé la répartition entre les travaux lourds et les travaux légers en atelier et le résultat auquel il est parvenu (40 % et 10 %, respectivement entérinés par la juridiction cantonale) résultent d'une instruction qui ne répond pas aux exigences de l'art. 43 LPGA (maxime inquisitoire). En effet, la répartition contestée émane de l'administration, qui, sans disposer vraiment d'éléments concrets ou objectifs, a néanmoins pondéré les champs d'activités en l'état du dossier.
Même si, lors de l'entretien du 8 avril 2010, l'administration avait rencontré quelques difficultés à appréhender l'activité exercée par le recourant dans l'entreprise, avant et après son atteinte à la santé, elle ne pouvait sans autre arrêter son instruction sur ce point. Vu la nature de l'activité exercée dans l'entreprise, réparation et entretien de poids lourds, et compte tenu de sa structure, où travaillaient apparemment une quinzaine de personnes en 2008, l'enquêteur aurait dû poursuivre ses investigations, notamment en procédant à une visite des lieux et en interrogeant le personnel de l'entreprise, afin de mieux cerner les activités manuelles déployées par le recourant et les autres membres du personnel, au lieu de se contenter d'une approche purement théorique; dans ce contexte, le cahier des charges des collaborateurs de l'entreprise aurait dû être édité, ainsi que la juridiction cantonale l'avait admis dans son jugement de renvoi du 1er octobre 2009 (consid. 10 in fine). A défaut, il était hasardeux d'admettre que, dans la chaîne du travail de cette entreprise, des travaux légers en atelier pouvaient être dissociés des travaux lourds et exécutés séparément par le recourant, puis de fixer la répartition entre ceux-ci, d'autant plus qu'à l'issue de l'instruction le taux d'invalidité fixé à 38 % se situait proche du seuil de 40 % ouvrant droit à la rente.
Vu ce qui précède, les faits pertinents n'ont pas été établis conformément au droit fédéral. Le recours doit dès lors être admis et la cause renvoyée à l'office intimé afin qu'il complète l'instruction et rende une nouvelle décision.
5. L'intimé, qui succombe, supportera les frais de la procédure (art. 66 al. 1 LTF) et versera une indemnité de dépens au recourant (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis. Le jugement de la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, du 23 mai 2012, ainsi que la décision de l'Office de l'assurance-invalidité du canton de Genève, du 14 septembre 2011, sont annulés, la cause étant renvoyée audit office pour instruction complémentaire au sens des considérants et nouvelle décision.
2. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 2'800 fr. à titre de dépens pour l'instance fédérale.
4. La Cour de justice de la République et canton de Genève, Chambre des assurances sociales, statuera à nouveau sur les dépens de l'instance cantonale, compte tenu de l'issue du litige.
5. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 23 mai 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
Le Greffier: Berthoud