Faits : Faits : A. P._, né en 1947, a travaillé depuis 1972 comme assistant en télécommunications au service des T._, puis de la société S._ SA. Dès le 4 janvier 1999, il a présenté une incapacité de travail de 100 % attestée par son médecin traitant, le docteur M._. Le 1er décembre 1999, P._ a déposé une demande de rente auprès de l'Office de l'assurance-invalidité du canton de Neuchâtel (ci-près: OAI). Son employeur l'a mis au bénéfice d'une retraite anticipée pour raison médicale à partir du 31 janvier 2000. L'OAI a confié une expertise au docteur B._, spécialiste FMH en médecine interne et rhumatologie. L'expert a rendu son rapport le 19 septembre 2000. Se fondant sur les conclusions de l'expertise, l'OAI a notifié à l'assuré une décision, du 15 mai 2001, par laquelle il a rejeté la demande de prestations. Se fondant sur les conclusions de l'expertise, l'OAI a notifié à l'assuré une décision, du 15 mai 2001, par laquelle il a rejeté la demande de prestations. B. Par jugement du 20 mars 2002, le Tribunal administratif du canton de Neuchâtel a rejeté le recours formé par l'assuré contre cette décision. B. Par jugement du 20 mars 2002, le Tribunal administratif du canton de Neuchâtel a rejeté le recours formé par l'assuré contre cette décision. C. Contre ce jugement, P._ interjette un recours de droit administratif dans lequel il conclut, sous suite de frais et dépens, à l'allocation d'une rente entière à partir du 1er janvier 2000, éventuellement après instruction complémentaire. L'OAI conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il a renoncé à se déterminer à son sujet.