Faits:
A. X._, domicilié à Y._ dans le canton de Nidwald, a habité de nombreuses années une maison familiale sise à Neuchâtel. Il a déménagé à Y._ en 2001, où il a loué successivement deux appartements avant d'y acquérir, le 2 octobre 2007, une maison. Le bien immobilier de Neuchâtel a été vendu le 25 mars 2008.
Le Service des contributions du canton de Neuchâtel (ci-après: le Service des contributions), par décision de taxation du 29 août 2008, puis par décision sur réclamation du 10 novembre 2008, a estimé que le gain immobilier réalisé lors de la vente de la maison de Neuchâtel ne pouvait faire l'objet d'une imposition différée. Il a jugé que toutes les conditions permettant une imposition différée du gain immobilier n'étaient pas réalisées puisque la maison de Neuchâtel ne constituait plus le domicile principal du recourant au moment de la vente.
B. Le Tribunal fiscal de la République et canton de Neuchâtel, par jugement du 16 février 2010, puis la Cour de droit public du Tribunal cantonal de la République et Canton de Neuchâtel (ci-après: le Tribunal cantonal), par arrêt du 11 mai 2011, ont rejeté le recours de X._ pour le même motif.
C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 11 mai 2011 du Tribunal cantonal et de lui renvoyer la cause pour une nouvelle décision conforme aux considérants de l'arrêt du Tribunal fédéral, subsidiairement, de dire que l'impôt sur le gain immobilier dû à la suite de la vente du 25 mars 2008 doit être différé en tenant compte du réinvestissement opéré pour l'acquisition d'un bien de remplacement.
Le Service des contributions, le Tribunal cantonal et l'Administration fédérale des contributions concluent au rejet du recours sous suite de frais.
Par ordonnance du 17 juin 2011, le Président de la IIe Cour de droit public du Tribunal fédéral a rejeté la demande d'effet suspensif.

Considérant en droit:
1. Interjeté en temps utile et dans les formes requises, contre une décision finale prise en dernière instance cantonale par une autorité judiciaire supérieure, par le destinataire de cette décision, le recours en matière de droit public, qui ne tombe sous aucune des exceptions de l'<ref-law>, est en principe recevable au regard des art. 42 et 82 ss LTF. L'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) confirme du reste l'existence de cette voie pour l'impôt sur les gains immobiliers qui est une matière harmonisée au titre 2 chapitre 3 LHID (cf. <ref-ruling> consid. 1.3 p. 188).
2. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Par conséquent, sous réserve des exigences de motivation figurant aux art. 42 al. 2 et 106 al. 2 LTF, il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et son application par les instances cantonales aux dispositions de la loi fédérale sur l'harmonisation fiscale. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - soit arbitraire - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Le recourant doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. <ref-ruling> consid. 3 p. 104; <ref-ruling> consid. 5.2.2 p. 322 et les arrêts cités).
3. Le recourant se plaint d'une constatation manifestement inexacte de faits qu'il considère comme importants pour déterminer s'il a fait un usage propre, durable et exclusif de sa maison de Neuchâtel.
3.1 Il reproche, tout d'abord, à l'autorité précédente de s'être bornée à mentionner qu'il avait habité lui-même la maison familiale de nombreuses années avant de déménager à Y._ en 2001. L'intéressé souligne qu'il a acquis cette maison le 12 décembre 1969 et qu'il y a vécu 40 ans; en outre, il relève qu'il a loué un appartement à Y._ dès 2001 et que son épouse et lui-même ont retiré leurs papiers de Neuchâtel cette même année.
L'argumentation présentée ne répond pas aux exigences en la matière (cf. consid. 2). De plus, il ne s'agit là que de précisions des faits contenus dans l'arrêt attaqué. Celles-ci démontrent d'ailleurs que les faits ont été établis de façon correcte puisque le Tribunal cantonal mentionne dans son arrêt que le recourant a résidé de nombreuses années dans sa villa, le nombre d'années exact n'étant pas pertinent pour la présente cause. Ledit Tribunal indique aussi que le recourant a loué, dès 2001, un appartement à Y._ (arrêt attaqué consid. 3a p. 3) et qu'à partir de ce moment, il n'a plus habité Neuchâtel.
3.2 Le recourant ajoute que le Tribunal cantonal a omis de tenir compte du fait que la valeur locative de la maison a été ajoutée à son revenu imposable et que le déménagement de Neuchâtel à Y._ de l'orgue de l'épouse du recourant n'avait eu lieu qu'en 2007. Ces éléments seraient déterminants pour juger de la condition de l'usage propre, durable et exclusif de l'habitation.
Le recourant perd de vue que le Tribunal fédéral n'est pas une instance d'appel et qu'il ne sert à rien, sous le couvert d'arbitraire ou de constatations manifestement inexactes, de discuter librement les faits. Une telle argumentation appellatoire est irrecevable devant le Tribunal fédéral (cf. consid. 2). De toute façon, ce n'est pas tant les faits tels que constatés par l'instance précédente que conteste le recourant, puisque celle-ci a toujours admis que l'intéressé avait été propriétaire de la maison de Neuchâtel jusqu'en 2008, sans prétendre qu'elle avait été louée, et qu'il avait pu y séjourner sporadiquement. L'intéressé s'en prend plutôt aux conséquences juridiques tirées de ces faits, lesquelles seront examinées ci-après.
3.3 Au regard de ce qui précède, les griefs du recourant relatifs à la constatation des faits doivent être rejetés dans la mesure où ils sont recevables.
4. 4.1 Selon le recourant, le Tribunal cantonal aurait violé l'art. 12 al. 3 let. e LHID, ainsi que l'art. 58 al. 1 let. e de la loi neuchâteloise du 21 mars 2000 sur les contributions directes (LCdir; RS/NE 631.0), en refusant l'imposition différée du gain en capital réalisé lors de la vente de la maison de Neuchâtel. Le recourant reproche audit Tribunal d'avoir estimé que la condition de l'usage propre, durable et exclusif de l'habitation n'était pas remplie dans la mesure où il s'était écoulé plus de six ans entre le moment où il avait quitté sa maison du canton de Neuchâtel en 2001 et celui où il l'avait vendue en 2008.
4.2 La mauvaise application du droit cantonal n'est pas en elle-même un motif de recours. L'intéressé ne peut en principe, à ce titre, faire valoir uniquement l'arbitraire. En outre, dans un recours fondé sur une application arbitraire du droit cantonal, le recourant ne peut se contenter de critiquer la décision attaquée, comme il le ferait dans une procédure où l'autorité de recours peut revoir librement l'application du droit, mais il doit préciser en quoi cette décision serait insoutenable, ne reposerait sur aucun motif sérieux et objectif, ou encore heurterait gravement le sens de la justice (<ref-ruling> consid. 1.2 p. 145; <ref-ruling> consid. 1.3 p. 59). Or, le recourant ne fait qu'expliquer pourquoi, selon lui, la condition de l'usage propre, durable et exclusif de l'habitation est remplie, en mettant en avant le fait qu'il a continué à séjourner dans sa maison entre 2001 et 2007 même si ce n'était pas "à plein temps" et à en faire un usage propre. Il ne fait ainsi qu'opposer son point de vue à celui du Tribunal cantonal. Il ne dit pas en quoi l'application du droit cantonal par l'autorité précédente serait arbitraire. Partant, dans la mesure où l'intéressé entendait invoquer une mauvaise application du droit cantonal, son recours ne répond pas aux exigences de motivation de l'<ref-law> et est, sous cet angle, irrecevable.
4.3 L'impôt sur les gains immobiliers fait cependant partie du droit harmonisé (<ref-law>). Le législateur fédéral a, en effet, décrit à l'article 12 al. 3 LHID de manière exhaustive les états de fait qui fondent un report d'imposition. Ceux-ci doivent être repris par les cantons dans leur législation sur l'imposition des gains immobiliers. Le législateur fédéral a en même temps recherché une harmonisation matérielle des législations cantonales en ce qui concerne le report d'imposition (<ref-ruling> consid. 3.2 p. 206 ss). Le Tribunal fédéral examinant librement si les lois cantonales harmonisées ont été appliquées conformément au droit fédéral (cf. consid. 2 et <ref-ruling> consid. 2 p. 209; <ref-ruling> consid. 1.2 p. 713), il entrera dès lors en matière.
5. 5.1 Selon l'<ref-law>, l'impôt sur les gains immobiliers a pour objet les gains réalisés notamment lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement (prix d'acquisition ou autre valeur s'y substituant, impenses). L'art. 12 al. 3 lettre e LHID prévoit que l'imposition est différée en cas d'aliénation de l'habitation (maison ou appartement) ayant durablement et exclusivement servi au propre usage de l'aliénateur, dans la mesure où le produit ainsi obtenu est affecté, dans un délai approprié, à l'acquisition ou à la construction en Suisse d'une habitation servant au même usage.
L'art. 58 al. 1 let. e LCdir reprend l'art. 12 al. 3 let. e LHID mot pour mot.
La LHID laissant aux cantons la possibilité de concrétiser la notion de "délai approprié" (RDAF 2005 II 554 consid. 5.2 = StE 2005 A 23.1 no 11, 2A.445/2004; arrêt 2C_108/2011 du 29 août 2011 consid. 3.1), l'art. 33 al. 1 du règlement général neuchâtelois du 1er novembre 2000 d'application de la loi sur les contributions directes (RELCdir; RS/NE 631.01) dispose que le remplacement en franchise d'impôt de, notamment, l'habitation principale du contribuable doit intervenir au plus tard dans un délai de deux ans à compter de la réalisation de l'ancien actif.
5.2 La loi s'interprète en premier lieu selon sa lettre. Si le texte n'est pas absolument clair et si plusieurs interprétations de celui-ci sont possibles, il convient de rechercher quelle est la véritable portée de la norme, en la dégageant de tous les éléments à considérer, soit notamment des travaux préparatoires, du but de la règle, de son esprit, ainsi que des valeurs sur lesquelles elle repose ou encore de sa relation avec d'autres dispositions légales (<ref-ruling> consid. 4.1 p. 170; <ref-ruling> consid. 2.4.1 p. 221 ss).
6. En l'espèce, il s'agit de déterminer si, lors de la vente de la villa de Neuchâtel en 2008, celle-ci avait "durablement et exclusivement servi au propre usage de l'aliénateur", tel que requis par l'art. 12 al. 3 let. e LHID.
6.1 Le texte de loi parle de l'aliénation de l'habitation (maison ou appartement) ayant durablement servi au propre usage de l'aliénateur. Cela signifie que, lors de l'aliénation, le bien ne doit plus forcément encore servir à l'usage propre de l'aliénateur. Celui-ci peut l'avoir quitté préalablement à la vente. Ceci s'explique notamment par le fait que le remploi anticipé, soit la situation dans laquelle l'acquisition du nouveau bien immobilier précède la vente de l'ancien, peut être exceptionnellement admis au regard de l'art. 12 al. 3 let. e LHID (RDAF 2005 II 554 consid. 6 = StE 2005 A 23.1 no 11, 2A.445/2004). L'art. 33 al. 2 RELCdir le prévoit d'ailleurs. Dès lors, le fait que le recourant n'habitait plus sa villa au moment de la vente n'est pas un obstacle à l'admission d'une imposition différée.
6.2 Se pose ensuite la question du laps de temps admissible entre le moment où l'aliénateur quitte son habitation et celui où il la vend. Ce point doit être examiné au regard de deux des conditions posées pour un report d'imposition, soit, premièrement, le fait que l'habitation doit avoir "durablement et exclusivement servi au propre usage de l'aliénateur" et, deuxièmement, le "délai approprié" dans lequel le réinvestissement doit avoir lieu.
6.3 L'art. 12 al. 3 let. e LHID pose comme condition à une imposition différée que "l'habitation (maison ou appartement) ait durablement et exclusivement servi au propre usage de l'aliénateur".
6.3.1 Une interprétation littérale de ces termes conduit, a priori, à considérer qu'ils font référence au domicile principal de l'aliénateur. Cependant, compte tenu de l'usage de notions vagues - telles que habitation, usage propre, etc. -, cette interprétation ne saurait suffire à elle seule.
Dans son Message du 25 mai 1983 sur l'harmonisation fiscale, le Conseil fédéral n'avait prévu le remploi que pour les immeubles agricoles et sylvicoles exploités en mains propres (FF 1983 III 108, 306; ad art. 15 al. 3 let. d projet/LHID), c'est-à-dire pour des immeubles du patrimoine commercial, et l'avait expressément exclu pour les maisons et les appartements privés (FF 1983 III 109); ce dernier type de remploi n'a été repris dans la loi qu'au stade des débats parlementaires (BO 1986 CE 141; BO 1989 CN 49 ss; BO 1989 CE 575; BO 1990 CN 442 ss; BO 1990 CE 726; cf. BASTIEN VERREY, L'imposition différée du gain immobilier: harmonisation fédérale et droit cantonal comparé, no 27 p. 22; BERNHARD ZWAHLEN, in: Martin Zweifel/Peter Athanas, Kommentar zum Schweizerischen Steuerrecht I/1, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG), 2è éd., 2002, no 74 ad <ref-law> p. 239). Il ressort des travaux de la Commission du Conseil national (procès-verbal de la séance des 11 et 12 avril 1988 de la Commission du Conseil national p. 107 ss; procès-verbal de la séance du 29 août 1988 de la Commission du Conseil national p. 8 ss) et des débats susmentionnés devant les Chambres fédérales, principalement des exemples donnés, que le report d'imposition n'est applicable qu'au gain obtenu lors de l'aliénation d'habitation constituant le domicile principal du contribuable. La minorité de la Commission voulait même limiter le réinvestissement de l'habitation privée à des raisons impératives; la Commission n'a toutefois, au cours des travaux, pas trouvé d'accord à ce sujet, ces raisons étant difficiles à délimiter (qu'en est-il, par exemple, d'une aliénation due à un licenciement, un changement de profession, un divorce, une expropriation?; BO 1989 CN 49 ss). Il ressort ainsi de l'interprétation historique que la notion d'habitation ayant durablement et exclusivement servi au propre usage de l'aliénateur de l'art. 12 al. 3 let. e LHID doit être interprétée de façon restrictive et doit être comprise comme faisant référence au domicile principal du contribuable, à l'exclusion des résidences secondaires. La doctrine relative à la LHID et aux lois cantonales va dans le même sens (BASTIEN VERREY, op. cit., no 224 p. 192; MARIANNE KLÖTI-WEBER/JÜRG BAUR, in: Marianne Klöti-Weber/Dave Siegrist/Dieter Weber (éd.), Kommentar zum Aargauer Steuergesetz, 3è éd., no 6 ad § 98, p. 1245; MARKUS LANGENEGGER, in: Christoph Leuch/Peter Kästli/Markus Langenegger (éd.), Praxis- Kommentar zum Berner Steuergesetz, vol. 2, 2011, no 27 ad art. 134, p. 122; FELIX RICHNER/WALTER FREI/STEFAN KAUFMANN/HANS ULRICH MEUTER, Kommentar zum harmonisierten Zürcher Steuergesetz, 2è éd., no 324 ad § 216, p. 1591; FELIX RICHNER, Ersatzbeschaffung von selbstgenutztem Wohneigentum (Teil I), in: Zürcher Steuerpraxis 2010, Heft Nr. 3, p. 204). Il s'agit donc de reporter l'obstacle fiscal que représente le prélèvement de l'impôt sur les gains immobiliers, qui prive le contribuable d'une partie du gain immobilier réalisé, en cas de changement du domicile principal.
6.3.2 Il est certain qu'en 2001, lorsque le recourant a quitté sa maison, celle-ci avait durablement et exclusivement servi à son usage propre. Toutefois, le moment déterminant pour juger de la réalisation de cette condition est le moment de la vente du bien puisque l'objet de l'impôt est le gain réalisé. En l'espèce, la vente a eu lieu le 25 mars 2008. Or, de 2001 à 2008, le recourant n'a plus résidé dans sa villa. Durant cette période, il a loué successivement deux appartements à Y._ avant d'y acquérir, le 2 octobre 2007, une maison. Le recourant a même précisé, dans son recours, que lui-même et son épouse ont retiré leurs papiers de Neuchâtel le 3 décembre 2001. Le bien immobilier de Neuchâtel est alors devenu la maison de vacances de la fille du recourant qui s'en occupait.
Il ne fait ainsi aucun doute que la villa de Neuchâtel, au moment de sa vente, ne constituait plus le domicile principal du recourant. Certes, comme le relève l'intéressé, de 2001 à 2008, ce bien est resté sa propriété, il était à sa disposition, il ne l'a jamais loué et y a séjourné de temps en temps. Si ces éléments montrent qu'effectivement le recourant a fait un certain usage de sa maison, ils ne suffisent cependant pas à remplir la condition de l'usage propre durable et exclusif. Ils font, en revanche, de la maison en cause une résidence secondaire. Or, contrairement à ce que l'intéressé prétend, une telle qualification est pertinente puisque, comme on l'a vu ci-dessus, l'imposition différée n'est pas acceptée pour ce type d'habitation.
6.4 Comme susmentionné (consid. 6.2), les sept ans écoulés entre le moment où le recourant a quitté son habitation et celui où il l'a vendue pose un autre problème. La LHID impose, en effet, que le remploi ait lieu dans un "délai approprié". Le canton de Neuchâtel a fixé ce délai à deux ans. En l'espèce, si le recourant avait vendu son bien lorsque celui-ci a cessé de constituer son domicile, soit en 2001, le délai légal de deux ans pour obtenir une imposition différée, aurait couru jusqu'en 2003. Or, l'intéressé n'a acheté son nouveau bien qu'en 2007. Accorder le remploi dans le cas du recourant qui a attendu sept ans pour aliéner sa maison, sans même avoir essayé de la vendre durant ce laps de temps, reviendrait à vider de sa substance l'exigence du délai approprié pour procéder au réinvestissement. Cette exigence ne peut être contournée en gardant quelques années une maison que le contribuable n'habite plus et en ne la vendant qu'au moment où le nouveau bien est acquis. Si le changement de domicile et la vente du bien ne doivent pas forcément être concomitants, on ne saurait admettre qu'un délai de sept ans s'écoule entre les deux.
6.5 Compte tenu de ce qui précède, en retenant que le recourant ne pouvait bénéficier d'une imposition différée sur le gain réalisé lors de l'aliénation de sa maison, le Tribunal cantonal n'a pas violé le droit cantonal harmonisé.
7. Le recours doit être rejeté dans la mesure où il est recevable.
Succombant, le recourant doit supporter un émolument judiciaire (art. 65 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué à la mandataire du recourant, au Service des contributions et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 15 mars 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Kurtoglu-Jolidon