Faits: A. X._ a conclu le 19 décembre 2005, conjointement avec sa compagne, A._, un contrat d'entreprise générale avec B._ SA, C._ SA et D._, portant sur l'achat d'un terrain et la construction d'un appartement en attique, avec garage, cave et place de parc, pour le prix total de 685'000 francs. L'investissement prévu, arrêté à 700'000 fr., a été financé par des fonds propres, par 82'000 fr., par des liquidités provenant du deuxième pilier de X._, à concurrence de 58'000 fr., ainsi que par un crédit de construction, accordé par la Banque E._ le 14 décembre 2005. Le 31 mars 2006, X._ et A._ ont conclu avec cette banque un contrat de prêt hypothécaire, d'un montant de 560'000 fr., à titre de consolidation du crédit de construction octroyé le 14 décembre 2005. Les intérêts du crédit de construction se sont élevés à 2'786 fr. 45 pour la période du 31 décembre 2005 au 31 décembre 2006. Ceux du crédit hypothécaire à 8'400 fr. pour la période du 30 juin au 31 décembre 2006. X._ et A._ ont pris possession de leur appartement le 22 décembre 2006. B. Dans sa déclaration d'impôt 2006, X._ a déduit de son revenu imposable 8'400 fr. d'intérêts passifs et a fait valoir une dette en capital de 560'000 fr. Il n'a pas déclaré de valeur locative au titre du revenu et a indiqué une valeur fiscale de l'appartement de 448'000 fr. Par décisions du 5 juillet 2007, le Service des contributions du canton de Neuchâtel (ci-après : le Service des contributions) a procédé à la taxation du revenu imposable de X._, en matière d'impôts fédéral direct, cantonal et communal. Il a refusé de déduire les intérêts passifs déclarés, qu'il a considérés comme des intérêts sur un crédit de construction non déductibles. Par décision du 3 octobre 2007 en matière d'impôts fédéral direct, cantonal et communal, le Service des contributions a rejeté la réclamation formée par X._ le 2 août 2007 à l'encontre des décisions de taxation du 5 juillet 2007. Le 24 avril 2009, le Tribunal fiscal du canton de Neuchâtel (ci-après : le Tribunal fiscal) a rejeté le recours interjeté par X._ contre la décision sur réclamation du 3 octobre 2007 du Service des contributions. Il a retenu que les crédits contractés auprès de la Banque E._ l'avaient été en vue d'acquérir ou d'améliorer un bien, de sorte que les intérêts n'étaient pas déductibles avant que le bien acquis ne dégage lui-même un rendement. Saisi d'un recours dirigé par X._ contre le jugement du Tribunal fiscal du 24 avril 2009, le Tribunal cantonal du canton de Neuchâtel, Cour de droit public (ci-après : le Tribunal cantonal) l'a rejeté, par arrêt du 24 mai 2011. Il a confirmé que les intérêts versés à la Banque E._ ne pouvaient pas être déduits avant que l'immeuble ne produise un revenu et a renoncé à réformer les décisions de taxation du 5 juillet 2007 au détriment du recourant, réforme qui aurait résulté de la prise en considération d'une valeur locative de l'immeuble pour la durée d'occupation du 22 au 31 décembre 2006, après déduction des intérêts passifs correspondant à cette période. C. A l'encontre de l'arrêt du Tribunal cantonal du 24 mai 2011, X._ forme auprès du Tribunal fédéral deux recours, l'un en matière d'impôts cantonal et communal, enregistré sous le n° d'ordre 2C_516/2011, l'autre en matière d'impôt fédéral direct, enregistré sous le n° d'ordre 2C_517/2011, dans lesquels il conclut, avec suite de frais, à l'annulation des décisions du Service des contributions, du Tribunal fiscal et du Tribunal cantonal et à l'admission de la déduction des intérêts hypothécaires payés en 2006, à concurrence de 8'400 francs. Il fait valoir que les intérêts hypothécaires dont il s'est acquitté en 2006 n'avaient aucun lien avec le crédit de construction, que celui-ci prévoyait expressément que les intérêts intercalaires étaient à sa charge et qu'il avait prélevé le montant de 8'400 fr. sur ses fonds propres dès lors que ces intérêts étaient exclus du crédit de construction. Le Tribunal cantonal se réfère aux motifs de l'arrêt attaqué et conclut au rejet du recours. Le Service des contributions et l'Administration fédérale des contributions concluent également au rejet du recours, sous suite de frais.