Faits:
A. X._, de nationalité serbe, né en 1975, a épousé une ressortissante suisse dans son pays d'origine, le 28 février 2005. Il a rejoint son épouse en Suisse le 7 novembre 2005 et a obtenu une autorisation de séjour au titre de regroupement familial. Le divorce des époux a été prononcé en République de Serbie le 16 mai 2007, à la demande unilatérale de l'épouse.
Par décision du 12 janvier 2010, le Service des migrations du canton de Neuchâtel a refusé de prolonger l'autorisation de séjour de X._. Cette décision a été confirmée sur recours de l'intéressé par le Département de l'économie du canton de Neuchâtel, le 23 septembre 2010.
B. X._ a recouru contre la décision du Département auprès de la Cour de droit public du Tribunal cantonal du canton de Neuchâtel. Se plaignant d'une violation de l'art. 50 al. 1 let. b de la loi fédérale sur les étrangers (LEtr; RS 142.20), il se prévalait de sa bonne intégration socioprofessionnelle, de la dépendance à son égard de sa mère malade, avec laquelle il vit, ainsi que de sa relation avec une amie suisse depuis plusieurs années, relation qui pourrait aboutir à un projet de mariage.
Par arrêt du 30 janvier 2012, le Tribunal cantonal a rejeté le recours. Il a notamment retenu que le recourant n'avait pas démontré que sa réintégration sociale dans son pays d'origine comporterait des obstacles insurmontables, ni que sa mère ne pourrait faire face à ses problèmes de santé sans lui, alors que sa soeur vit également en Suisse, pas plus qu'il n'avait fourni d'indices concrets d'un mariage imminent.
C. Agissant par la voie du recours en matière de droit public, X._ conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 30 janvier 2012 et demande au Tribunal fédéral de prolonger son autorisation de séjour.
Le Tribunal cantonal, le Département de l'économie et le Service des migrations ont été invités à produire leur dossier sans échange d'écritures (art. 102 al. 2 LTF).
Par ordonnance présidentielle du 15 mars 2012, le recourant a été autorisé à effectuer l'avance de frais de 1'500 fr. en trois versements de 500 fr., jusqu'au 30 avril 2012.
Considérant en droit:
1. 1.1 Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable à l'encontre des décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Le recourant, qui a obtenu son autorisation de séjour en raison de son mariage avec une Suissesse, peut se prévaloir de l'art. 50 LEtr. Dans la mesure où il reproche à l'autorité cantonale de ne pas avoir retenu des circonstances propres à lui conférer un droit de demeurer en Suisse au sens de cette disposition, le recours est recevable, le point de savoir si les conditions posées par la loi sont effectivement réunies en l'espèce relève de l'examen au fond (cf. arrêts 2C_304/2009 du 9 décembre 2009 consid. 1.1, non publié in ATF 136 II 113, 2C_460/2009 du 4 novembre 2009, consid. 2.1.1 non publié aux ATF 136 II 1 et 2C_236/2011 du 2 septembre 2011 consid. 1.3).
1.2 Pour le surplus, le recours est dirigé contre une décision finale (art. 90 LTF) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); il a été formé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation (art. 89 al. 1 LTF). Il est donc en principe recevable en tant que recours en matière de droit public.
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b ainsi que 106 al. 1 LTF), sous réserve des exigences de motivation figurant aux art. 42 et 106 al. 2 LTF. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ceux-ci n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF), ce qu'il appartient au recourant de démontrer.
A cet égard, il faut relever que le seul point litigieux est l'application faite par les autorités cantonales des art. 50 al. 1 let. b LEtr et 8 CEDH. Il n'a donc jamais été question de révoquer l'autorisation de séjour du recourant sur la base de l'art. 62 LEtr ou de lui reprocher d'avoir abusé de son mariage en dissimulant son divorce, de sorte que les arguments que l'intéressé présente à cet égard sont sans objet.
3. Le recourant se prévaut d'une violation des art. 50 al. 1 let. b LEtr et 8 CEDH.
3.1 Il n'est pas contesté qu'en espèce, le recourant ne peut pas bénéficier d'une autorisation de séjour sur la base de l'art. 50 al. 1 let. a LEtr, dès lors que son mariage avec une Suissesse a duré moins de trois ans. Toutefois, après la dissolution de la famille, et même si l'union conjugale a duré moins de trois ans, l'art. 50 al. 1 let. b LEtr permet au conjoint étranger d'obtenir la prolongation de son autorisation lorsque la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures. L'art. 50 al. 2 LEtr précise que de telles raisons sont notamment données lorsque le conjoint est victime de violence conjugale et que la réintégration sociale dans le pays de provenance semble fortement compromise ("stark gefährdet"), comme c'est par exemple le cas d'une femme séparée avec enfant qui doit retourner dans une société patriarcale (ATF 137 II 345 consid. 3.2.2. p. 349). L'énumération de ces cas n'est pas exhaustive et laisse aux autorités une certaine liberté d'appréciation fondée sur des motifs humanitaires (ATF 136 II 1 consid. 5.3 p. 4). L'application de cette disposition ne dépend donc pas de la politique migratoire, mais uniquement des conséquences qu'auront pour l'étranger l'obligation de quitter la Suisse sur sa situation personnelle (ATF 137 II 345 consid. 3.2.1 p. 348, arrêt précité 2C_236/2011, consid. 2.1).
3.2 Les autorités cantonales ont reconnu que le recourant était bien intégré sur le plan socio-professionnel: il parle correctement le français et travaille comme aide-soignant dans un établissement pour personnes âgées, à l'entière satisfaction de son employeur. Elles ont cependant jugé ces éléments favorables insuffisants au vu des inconvénients que représente pour le recourant un retour dans son pays d'origine, qui ne sauraient être qualifiés de majeurs au vu de son âge, des années qu'il a passées à l'étranger, puis dans son pays d'origine pendant une partie de son adolescence et à l'âge adulte, jusqu'à vingt-huit ans. Les conséquences d'un retour en Serbie, où le recourant déclare avoir perdu tout contact avec sa famille, notamment avec son père, seront certes plus difficiles que la situation dont l'intéressé bénéficie en Suisse, en particulier sur le plan économique, mais rien ne permet de penser que, sans charges de famille, il n'ait pas les facultés nécessaires à sa réadaptation. Au vu des conditions strictes posées par la jurisprudence dans l'application de l'art. 50 al. 1 let. b et al. 2 LEtr (ATF 137 II 345 consid 3.2.2 p. 349), les autorités cantonales ont donc retenu à bon droit que le recourant ne pouvait se prévaloir de cette disposition pour obtenir une autorisation de séjour en Suisse.
3.3 D'après la jurisprudence, les relations familiales protégées par l'art. 8 § 1 CEDH sont avant tout les rapports entre époux ainsi qu'entre parents et enfants mineurs vivant ensemble (ATF 127 II 60 consid. 1d/aa p. 65). Les fiancés ou les concubins ne sont en principe pas habilités à invoquer l'art. 8 CEDH; ainsi, l'étranger fiancé à une personne ayant le droit de s'établir en Suisse ne peut, en règle générale, pas prétendre à une autorisation de séjour, à moins que le couple n'entretienne depuis longtemps des relations étroites et effectivement vécues et qu'il n'existe des indices concrets d'un mariage sérieusement voulu et imminent (cf. arrêts 2C_ 206/2010 du 23 août 2010, consid. 2.1; 2C_733/2008 du 12 mars 2009, consid. 5.1 et les arrêts cités). Aucun indice concret ne permet en l'espèce de penser que le recourant va se marier avec la ressortissante suisse, d'origine serbe, qu'il fréquente depuis plusieurs années. Il ne le soutient d'ailleurs même plus devant le Tribunal fédéral.
3.4 Pour les relations qui excèdent le cadre étroit de la famille nucléaire, soit entre parents et enfants mineurs, l'art. 8 § 1 CEDH ne confère que de manière restrictive un droit au regroupement familial: il faut qu'il existe un rapport de dépendance particulier entre les membres de la famille en cause. Tel est notamment le cas si la personne dépendante nécessite un soutien de longue durée en raison de graves problèmes de santé et que ses besoins ne seraient pas convenablement assurés sans la présence en Suisse de l'étranger qui sollicite une autorisation de séjour (arrêt 2C_817/2010 du 24 mars 2011, consid. 4 et les arrêts cités).
En l'espèce, le recourant n'a ni démontré les problèmes de santé de sa mère, ni fourni le moindre élément pour attester les liens de dépendance de cette dernière envers lui, de sorte que les conditions d'application de cette disposition ne sont pas réalisées. Il n'y a ainsi pas lieu de se demander si la jurisprudence relative à la reconnaissance du droit du père étranger à soutenir sa fille de nationalité suisse (arrêt 2C_942/2010 du 27 avril 2011, consid. 2) doit être étendue au fils étranger ayant sa mère malade, question laissée ouverte dans l'arrêt 2C_817/2010 précité.
4. Au vu de ce qui précède, le recours doit être rejeté, avec suite de frais à la charge du recourant (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Service des migrations, au Département de l'économie et au Tribunal cantonal de la République et canton de Neuchâtel, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 31 mai 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat