Faits: Faits: A. Né le 13 décembre 1940, X._ était domicilié en Suisse jusqu'au 31 décembre 2002. Il était au chômage depuis le 1er juillet 2001. Par courrier du 6 septembre 2002, il a demandé à la Caisse de pension Y._ (ci-après: la Caisse) le versement du capital de sa prestation de libre passage avec effet au 1er janvier 2003. La Caisse lui a versé une prestation en capital de 284'634.10 fr. en date du 19 décembre 2002. Le 12 juin 2003, le Service des contributions du canton de Neuchâtel (ci-après: le Service des contributions) a adressé à X._ des décisions de taxation définitives pour l'impôt unique et distinct au niveau fédéral, cantonal et communal 2002. Le montant imposable était de 284'600 francs. L'impôt fédéral direct se montait à 5'463 fr. et les impôts cantonal et communal à 21'871.70 fr. X._ a élevé réclamation à l'encontre de ces décisions de taxation. Il faisait valoir qu'étant au chômage depuis 2001 et arrivant en fin de droit, il avait pris la décision de vivre en France depuis le 1er janvier 2003. Il ne comprenait dès lors pas pour quels motifs il était assujetti au paiement des impôts en Suisse, alors qu'il n'y résidait plus. Par décision sur réclamation, le Service des contributions a retenu que le versement de la prestation en capital avait été fait alors que X._ résidait encore en Suisse et que cette prestation était imposable à ce moment-là. L'intéressé s'est pourvu auprès du Tribunal fiscal du canton de Neuchâtel qui, par jugement du 15 juin 2004, a rejeté le recours. Cette autorité a considéré que les prestations de prévoyance sociale étaient imposables au moment de leur échéance et que X._ avait obtenu le versement anticipé de son avoir de prévoyance. Le versement étant intervenu le 19 décembre 2002, le revenu avait été réalisé alors que le recourant était encore domicilié en Suisse et il devait dès lors être soumis à un impôt annuel entier. L'intéressé s'est pourvu auprès du Tribunal fiscal du canton de Neuchâtel qui, par jugement du 15 juin 2004, a rejeté le recours. Cette autorité a considéré que les prestations de prévoyance sociale étaient imposables au moment de leur échéance et que X._ avait obtenu le versement anticipé de son avoir de prévoyance. Le versement étant intervenu le 19 décembre 2002, le revenu avait été réalisé alors que le recourant était encore domicilié en Suisse et il devait dès lors être soumis à un impôt annuel entier. B. Le Tribunal administratif du canton de Neuchâtel (ci-après: le Tribunal administratif), par arrêt du 8 décembre 2004, a rejeté le recours de X._. Selon cette autorité, que le montant touché par l'intéressé ait été qualifié de prestation en capital due en raison de sa retraite anticipée ou de prestation de sortie en raison de son départ à l'étranger, devait être considéré comme déterminant le moment où il en avait requis le versement. Or, X._ était alors encore domicilié en Suisse et la prestation devait y être assujettie à l'impôt fédéral direct et aux impôts cantonal et communal. B. Le Tribunal administratif du canton de Neuchâtel (ci-après: le Tribunal administratif), par arrêt du 8 décembre 2004, a rejeté le recours de X._. Selon cette autorité, que le montant touché par l'intéressé ait été qualifié de prestation en capital due en raison de sa retraite anticipée ou de prestation de sortie en raison de son départ à l'étranger, devait être considéré comme déterminant le moment où il en avait requis le versement. Or, X._ était alors encore domicilié en Suisse et la prestation devait y être assujettie à l'impôt fédéral direct et aux impôts cantonal et communal. C. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral "l'annulation dans sa totalité de ces impôts qui me sont réclamés". Sans formuler d'observations, le Tribunal administratif déclare se référer aux motifs de son arrêt et conclut au rejet du recours. L'Administration fédérale des contributions se prononce dans le même sens. Le Service des contributions ne s'est pas déterminé.