Faits: Faits: A. Le 27 mars 2003, alors qu'il travaillait sur un chantier pour le compte de l'entreprise F._ SA, E._ a été victime d'un accident professionnel: en tentant de soulever une pièce de béton cylindrique de 250 à 300 kg, il a ressenti des douleurs dans le bas du dos et semble avoir perdu connaissance quelques instants. Le prénommé a souffert d'un syndrome radiculaire lombaire irritatif avec maximum en L5 à droite (rapports des 2 et 7 mai 2003 des médecins de l'hôpital B._). La Caisse nationale suisse d'assurance en cas d'accidents (CNA), auprès de laquelle il était assuré, a pris le cas en charge. E._ a été hospitalisé du 16 juin au 4 juillet 2003 à l'Hôpital régional P._, du 9 au 19 mai 2004 aux hôpitaux C._, et du 2 au 30 juin 2004 à la Clinique X._. Selon les conclusions du rapport de cette clinique, il n'y avait pas d'incapacité de travail sous l'angle physique, tandis que sous l'angle psychique, la capacité médico-théorique dans l'activité de maçon était de 50 %. Se fondant sur cet avis, la CNA a, par décision du 18 août 2004, confirmée sur opposition le 17 novembre 2004, mis fin au versement de ses prestations avec effet au 31 août 2004. Se fondant sur cet avis, la CNA a, par décision du 18 août 2004, confirmée sur opposition le 17 novembre 2004, mis fin au versement de ses prestations avec effet au 31 août 2004. B. Par jugement du 14 octobre 2005, le Tribunal administratif du canton de Neuchâtel a rejeté le recours formé par l'assuré contre la décision sur opposition de la CNA. B. Par jugement du 14 octobre 2005, le Tribunal administratif du canton de Neuchâtel a rejeté le recours formé par l'assuré contre la décision sur opposition de la CNA. C. E._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation. Sous suite de dépens, il conclut à l'octroi des prestations de l'assurance-accidents au-delà du 31 août 2004. A titre alternatif, il sollicite le renvoi de la cause au Tribunal administratif pour nouveau jugement dans le sens des considérants. La CNA conclut au rejet du recours, tandis que l'Office fédéral de la santé publique a renoncé à se déterminer.