Faits : A. Par acte notarié du 14 décembre 2010, A.X._ a acquis de Y._ et Z._ un immeuble sis à Neuchâtel pour le prix de 2'000'000 fr. L'acte prévoyait la constitution d'une servitude de jouissance (servitude personnelle irrégulière au sens de l'art. 781 CCS) par A.X._ au profit de Y._, accordant à la bénéficiaire "la possession, l'usage et la jouissance" jusqu'au 31 décembre 2020 de locaux en nature de bureaux, dépôt et cave sis dans le bâtiment. L'acte prévoit également que le droit est gratuit dans le sens où aucune redevance ne sera versée par la bénéficiaire en faveur du propriétaire de l'immeuble. Il indique que la valeur de la servitude est fixée à 450'000 fr. et qu'il a été tenu compte de ce montant dans le prix de vente (2'000'000 fr. - 450'000 fr = 1'550'000 fr. à payer comptant). Il précise enfin qu'en cas de renonciation volontaire anticipée à la servitude par la bénéficiaire ou en cas de décès de cette dernière, le propriétaire du fond grevé l'indemnisera (respectivement ses héritiers) pro rata temporis dès la libération des locaux mais au plus tôt dès échéance de la renonciation à raison de 45'000 fr. par année restante jusqu'à l'extinction contractuelle du droit de jouissance. Par décisions taxation du 9 octobre 2013 pour les impôts fédéral direct, cantonal et communal de la période fiscale 2011, le Service cantonal des contributions du canton de Neuchâtel a considéré qu'il s'agissait d'un contrat de bail et imposé un loyer de 45'000 fr. dans le chapitre du propriétaire en tant que rendement locatif et pris en compte une dette du propriétaire envers la bénéficiaire s'élevant initialement à 450'000 fr. mais diminuant chaque année de 45'000 fr., soit pour 2011 une dette de 405'000 fr. Par décision du 10 mars 2014, la réclamation a été rejetée. A.X._ et B.X._ont interjeté recours contre la décision du 10 mars 2014 auprès du Tribunal cantonal du canton de Neuchâtel. B. Par arrêt du 29 août 2014, le Tribunal cantonal du canton de Neuchâtel a admis le recours. Il a considéré en substance que la servitude de jouissance en cause devait être considérée comme un usufruit ou un droit d'habitation accordé en contre-prestation du versement d'un capital unique fourni sous la forme d'une réduction du prix de vente, de sorte qu'il fallait admettre que la servitude avait été constituée à titre gratuit. Il s'ensuivait que c'était la bénéficiaire de la servitude qui devait être imposée sur la valeur locative des locaux dont elle avait la jouissance au titre d'impôt fédéral direct, cantonal et communal sur le revenu et sur la valeur fiscale de l'immeuble grevé de l'usufruit au titre d'impôt cantonal et communal sur la fortune et non pas les propriétaires de l'immeuble grevé dont la taxation devait être corrigée en ce sens qu'ils n'étaient pas imposables sur un rendement locatif de 45'000 fr et ne pouvait déduire de la fortune une dette de 405'000 fr. C. Agissant par la voie du recours en matière de droit public, le Service cantonal des contributions du canton de Neuchâtel demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 29 août 2014 et de dire en substance qu'un rendement locatif de 45'000 fr. est imposable dans le chapitre de A.X._ et B.X._ au titre d'impôt fédéral direct, cantonal et communal sur le revenu et qu'une dette de 405'000 fr. soit déduite au titre de l'impôt sur la fortune cantonal et communal. Il se plaint de la violation du droit fédéral. Le Tribunal cantonal et l'Administration fédérale des contributions renoncent à déposer des observations sur recours. A.X._ et B.X._ concluent au rejet du recours.