Faits: Faits: A. Le 17 juin 1991, S._, né en 1959, a été victime d'un accident de travail qui lui a occasionné deux fractures (hanche droite et radius distal droit). Il travaillait à l'époque comme maçon au service de l'entreprise A._ & Cie. L'instruction médicale menée par la Caisse nationale suisse en cas d'accidents (CNA) a révélé qu'en raison des séquelles de l'accident, S._ ne pouvait plus poursuivre son ancienne activité. Aussi, l'Office de l'assurance-invalidité du canton de Neuchâtel (ci-après : l'office AI), saisi d'une demande de prestations du prénommé, a-t-il pris en charge une formation de dessinateur en bâtiment au Centre R._ de O._ à titre de mesure de réadaptation professionnelle. Dès le 25 avril 1995, l'assuré a bénéficié d'indemnités journalières. Il a achevé la formation avec succès en juillet 1998. Afin d'augmenter ses chances de réinsertion, l'office AI lui a encore accordé une formation complémentaire dans la direction de travaux suivie d'un stage pratique auprès de la société P._ SA. Ce stage s'est toutefois soldé par un échec. L'office AI a alors mandaté le Service d'orthopédie et de traumatologie de l'appareil moteur de l'Hôpital V._ pour une expertise. Dans leur rapport du 30 avril 1999, les docteurs C._ et B._ ont conclu à une capacité de travail de 75 % dans une activité adaptée alternant les positions et évitant le port de charges lourdes. Par décision du 2 février 2001, l'office AI a alloué à l'assuré une rente d'invalidité entière du 1er juin 1992 au 31 juillet 1994 ainsi qu'une demi-rente limitée dans le temps du 1er août 1994 au 31 juillet 1995; il a considéré qu'à partir du 1er juin 1999, l'intéressé ne pouvait prétendre de rente, celui-ci étant suffisamment réadapté dans l'activité de conducteur de travaux. Le 8 février suivant, la CNA et S._ ont passé une transaction aux termes de laquelle le prénommé était mis au bénéfice d'une rente d'invalidité à partir du 1er juin 1999 fondée sur un taux d'incapacité de gain de 45 %. Par décision du 2 février 2001, l'office AI a alloué à l'assuré une rente d'invalidité entière du 1er juin 1992 au 31 juillet 1994 ainsi qu'une demi-rente limitée dans le temps du 1er août 1994 au 31 juillet 1995; il a considéré qu'à partir du 1er juin 1999, l'intéressé ne pouvait prétendre de rente, celui-ci étant suffisamment réadapté dans l'activité de conducteur de travaux. Le 8 février suivant, la CNA et S._ ont passé une transaction aux termes de laquelle le prénommé était mis au bénéfice d'une rente d'invalidité à partir du 1er juin 1999 fondée sur un taux d'incapacité de gain de 45 %. B. B.a Par jugement du 8 mai 2001, le Tribunal administratif du canton de Neuchâtel a admis le recours formé par l'assuré contre la décision du 2 février 2001. En bref, le tribunal a jugé que pour déterminer le revenu d'invalide de S._, l'office AI ne pouvait se fonder sur le salaire que le prénommé pourrait percevoir comme conducteur de travaux puisque celui-ci ne bénéficiait pas des compétences nécessaires dans ce domaine, mais sur le salaire qu'il pourrait réaliser dans une activité de dessinateur en bâtiment et ce, en considération d'une capacité de travail de 75 %; le dossier était par conséquent renvoyé audit office pour qu'il fixe à nouveau le revenu d'invalide après avoir mis en oeuvre une enquête économique et procédé, au besoin, à une réduction du salaire ainsi obtenu pour tenir compte du handicap de l'assuré. B.b L'office AI a rendu, le 23 novembre 2001, une nouvelle décision par laquelle il a octroyé à l'assuré un quart de rente dès le 1er juin 1999. Sans autres mesures d'instruction, il a fixé le degré d'invalidité à 45 %. B.c S._ a derechef recouru contre cette décision au Tribunal administratif du canton de Neuchâtel, en concluant à l'octroi d'une demi-rente. Par jugement du 10 mars 2004, le tribunal a admis le recours, annulé la décision du 23 novembre 2001 et renvoyé la cause à l'office AI afin qu'il procède conformément à ce qu'il avait ordonné dans son premier jugement. B.c S._ a derechef recouru contre cette décision au Tribunal administratif du canton de Neuchâtel, en concluant à l'octroi d'une demi-rente. Par jugement du 10 mars 2004, le tribunal a admis le recours, annulé la décision du 23 novembre 2001 et renvoyé la cause à l'office AI afin qu'il procède conformément à ce qu'il avait ordonné dans son premier jugement. C. L'office AI interjette recours de droit administratif, en concluant à l'annulation de ce jugement. S._ conclut au rejet du recours sous suite de frais et dépens, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.