Faits:
A. M._ est au bénéfice d'une rente entière de l'assurance-invalidité depuis le 1er décembre 1993. Des rentes pour ses six enfants lui ont également été versées.
Par décision du 30 septembre 2010, l'Office de l'assurance-invalidité du canton de Neuchâtel (l'office AI) a réclamé à l'assuré la restitution de la somme de 53'268 fr., correspondant aux rentes perçues indûment du 1er octobre 2005 au 30 septembre 2010 pour l'enfant E._, née en 1997 et décédée en 1999.
B. M._ a déféré cette décision au Tribunal administratif de la République et canton de Neuchâtel (aujourd'hui: Tribunal cantonal, Cour de droit public) en concluant à son annulation.
Par jugement du 3 mai 2012, la juridiction cantonale a admis le recours et annulé la décision du 30 septembre 2010, au motif que la créance en remboursement des rentes versées à tort du 1er octobre 2005 au 30 septembre 2010 pour l'enfant E._ était périmée.
C. L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, avec suite de frais.
L'intimé conclut à l'irrecevabilité du recours ou à son rejet pour le cas où le Tribunal fédéral entrerait en matière, avec suite de frais et dépens. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. L'office recourant ne remet pas en question le bien-fondé du jugement attaqué, dans la mesure où il est constaté que feue E._ ne figurait plus au nombre des enfants à charge de l'intimé sur les questionnaires remplis en 2002 et 2007. En outre, le recourant ne conteste pas non plus que son droit de demander la restitution des rentes versées à tort jusqu'en septembre 2009 pour E._ était ainsi périmé. En revanche, devant le Tribunal fédéral, le recourant expose les motifs pour lesquels il s'estimait fondé à demander pour le moins que l'intimé soit condamné à lui restituer les prestations indûment versées durant les douze mois qui ont précédé la décision du 30 septembre 2010, soit une somme de 10'944 fr. (12 x 912 fr.). Dès lors que l'argumentation juridique développée dans le mémoire de recours ne s'étend pas à la question de la péremption du droit de l'administration de réclamer le remboursement de rentes versées antérieurement à cette période de douze mois, on doit interpréter les conclusions du recourant en ce sens qu'il conclut uniquement au paiement de la somme de 10'944 fr., ce qui constitue ainsi l'objet du litige.
Dans sa réponse, l'intimé précise que le recourant a recommencé à lui verser à tort une rente pour E._, par décision du 5 juillet 2011, ce qui l'a conduit à rendre une nouvelle décision de restitution le 11 juin 2012. Ces deux décisions ne constituent toutefois pas l'objet de la contestation, si bien qu'il n'y a pas lieu d'en examiner le mérite ni d'en tenir compte pour trancher le présent litige issu de la décision de restitution du 30 septembre 2010.
2. Les premiers juges ont constaté que l'intimé n'avait pas expressément fait état du décès de sa fille, en particulier à réception d'une décision de l'office recourant du 9 février 2000 qui détaillait le montant de la rente principale et des rentes pour enfants, au nombre desquelles figurait la rente pour l'enfant E._ décédée en 1999. Par ailleurs, les juges cantonaux ont constaté que dans les questionnaires qu'il avait remplis dans le cadre des révisions des 24 septembre 2002 et 5 février 2007 (qui étaient non seulement destinés à obtenir des renseignements récents quant à l'état de santé et aux éventuels revenus, mais à également à mettre les données personnelles à jour), l'intimé n'avait plus fait mention de sa fille E._ comme enfant à charge.
Dans ces conditions, la juridiction cantonale a admis que l'office AI aurait pu, s'il avait fait preuve de l'attention qui pouvait raisonnablement être exigée de lui, être complètement et précisément informé du décès de l'enfant E._ lors de la révision d'office du 24 septembre 2002, voire au plus tard lors de celle du 5 février 2007. Le tribunal en a déduit que le délai de péremption d'un an pour exiger la restitution des prestations était venu à échéance en novembre 2003, voire au plus tard en février 2008. Lorsque la décision de restitution du 30 septembre 2010 a été rendue, la créance en remboursement des rentes versées à tort du 1er octobre 2005 au 30 septembre 2010 pour l'enfant E._ était ainsi périmée.
3. Selon l'<ref-law>, les prestations indûment touchées doivent être restituées (al. 1 première phrase). Le droit de demander la restitution s'éteint un an après le moment où l'institution d'assurance a eu connaissance du fait, mais au plus tard cinq ans après le versement de la prestation (al. 2 première phrase).
Si, au moment où l'institution d'assurance a eu connaissance du fait, la prestation n'a pas encore été versée, le délai d'une année de péremption selon l'art. 25 al. 2 première phrase LPGA ne peut commencer à courir qu'avec le versement effectif de la prestation, la créance en restitution de rentes mensuelles versées à tort n'étant pas sujette à péremption aussi longtemps que la prestation périodique n'a pas encore été versée (arrêt 9C_363/2010 du 8 novembre 2011 consid. 2.1, in SVR 2012 IV n° 33 p. 132 et les références citées).
4. L'office recourant se plaint d'une violation du droit fédéral, singulièrement d'une application de l'art. 25 al. 2, première phrase, LPGA, contraire à la jurisprudence (cf. arrêt 9C_363/2010 précité). A son avis, le droit de demander la restitution des rentes ne saurait être prescrit (recte: périmé) au moment même où il les a payées indûment. A défaut, en suivant la juridiction cantonale, la péremption surviendrait immédiatement pour le cas où l'administration verserait ses prestations par erreur, alors qu'elle en connaissait le caractère indu.
De son côté, l'intimé estime que l'arrêt 9C_363/2010 ne peut être appliqué dans le cas d'espèce, car la demande de restitution (du 30 septembre 2010) constitue un abus de droit manifeste (<ref-law>). En effet, le versement des rentes pour enfant résulte d'une négligence grave de l'office recourant, lequel a même repris le paiement de ces prestations postérieurement à la décision du 30 septembre 2010.
5. On ne saurait partager le raisonnement du Tribunal cantonal, car on se trouve dans l'éventualité expressément envisagée par l'arrêt 9C_363/2010. En effet, le délai de péremption d'une année selon l'art. 25 al. 2 première phrase LPGA n'a pu commencer à courir qu'avec le versement effectif de chacune des rentes pour enfant servies du 1er octobre 2009 au 30 septembre 2010, si bien que le droit du recourant de demander la restitution de ces rentes n'était pas encore périmé au jour où il l'a exercé par voie de décision (le 30 septembre 2010). Quant à l'existence d'un abus de droit de la part de l'autorité, elle ne saurait être admise pour le simple fait que cette dernière a tenté d'obtenir la restitution de prestations qu'elle a versées par erreur, à moins de vider l'<ref-law> de son sens.
Dès lors que les critiques du recourant relatives à la restitution des rentes pour E._ versées du 1er octobre 2009 au 30 septembre 2010 sont bien fondées, le jugement attaqué doit être réformé dans la mesure où il admet à tort que le droit du recourant de réclamer la restitution de ces rentes (10'944 fr.) était également périmé.
6. L'intimé, qui succombe entièrement, supportera les frais de la procédure fédérale (<ref-law>) et ne saurait, pour le même motif, prétendre des dépens (<ref-law>).
Vu l'issue du litige, il sied d'annuler les ch. 2, 3 et 4 du dispositif du jugement attaqué relatifs aux frais et dépens, puis d'inviter les premiers juges à statuer à nouveau sur ceux-ci.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement du Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, du 3 mai 2012, est réformé en ce sens que l'intimé est condamné à restituer au recourant la somme de 10'944 fr.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. La cause est renvoyée au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, afin qu'il statue à nouveau sur les frais et dépens de l'instance cantonale, compte tenu de l'issue du litige.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Office fédéral des assurances sociales.
Lucerne, le 9 novembre 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Berthoud