Faits:
Faits:
A. C._, né en 1960, a été victime d'un accident en 1990. Il bénéficie, depuis le 1er avril 1994, d'une rente d'invalidité de 25 % de la Caisse Nationale Suisse d'Assurance en cas d'accidents (CNA). Il a travaillé en dernier lieu en qualité de maçon au service de l'entreprise X._ SA. Le 11 juin 2001, il a déposé une demande de prestations AI en raison de troubles dorsaux. Par décision du 31 octobre 2002, l'Office de l'assurance-invalidité du canton de Neuchâtel (OAI) a rejeté la demande, considérant que le degré d'invalidité qu'il présente (30 %) est insuffisant pour ouvrir droit à la rente.
A. C._, né en 1960, a été victime d'un accident en 1990. Il bénéficie, depuis le 1er avril 1994, d'une rente d'invalidité de 25 % de la Caisse Nationale Suisse d'Assurance en cas d'accidents (CNA). Il a travaillé en dernier lieu en qualité de maçon au service de l'entreprise X._ SA. Le 11 juin 2001, il a déposé une demande de prestations AI en raison de troubles dorsaux. Par décision du 31 octobre 2002, l'Office de l'assurance-invalidité du canton de Neuchâtel (OAI) a rejeté la demande, considérant que le degré d'invalidité qu'il présente (30 %) est insuffisant pour ouvrir droit à la rente.
B. Par jugement du 13 novembre 2003, le Tribunal administratif du canton de Neuchâtel a rejeté le recours formé par l'assuré contre cette décision.
B. Par jugement du 13 novembre 2003, le Tribunal administratif du canton de Neuchâtel a rejeté le recours formé par l'assuré contre cette décision.
C. C._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation, en concluant, sous suite de frais et dépens, principalement à l'octroi d'une demi-rente d'invalidité dès le 1er janvier 2002, subsidiairement à la mise en oeuvre d'une instruction complémentaire.
L'OAI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Le litige porte sur le droit du recourant à l'octroi d'une rente, singulièrement sur le degré d'invalidité qu'il présente.
1. Le litige porte sur le droit du recourant à l'octroi d'une rente, singulièrement sur le degré d'invalidité qu'il présente.
2. 2.1 La loi fédérale sur la partie générale du droit des assurances sociales du 6 octobre 2000 (LPGA) est entrée en vigueur le 1er janvier 2003, entraînant la modification de nombreuses dispositions légales dans le domaine de l'assurance-invalidité. Cependant, le cas d'espèce reste régi par les dispositions de la LAI en vigueur jusqu'au 31 décembre 2002, la LPGA n'étant pas applicable au présent litige dès lors que le juge des assurances sociales n'a pas à prendre en considération les modifications du droit ou de l'état de fait postérieures à la date déterminante de la décision litigieuse du 31 octobre 2002 (<ref-ruling> s. consid. 1.1, 129 V 4 consid. 1.2 et les arrêts cités).
Les dispositions de la novelle du 21 mars 2003 modifiant la LAI (4ème révision), entrée en vigueur le 1er janvier 2004 (RO 2003 3852), ne sont pas non plus applicables.
2.2 Le jugement entrepris rappelle correctement les dispositions légales (en particulier les art. 4 et 28 LAI, dans leur teneur en vigueur jusqu'au 31 décembre 2002 et jusqu'au 31 décembre 2003 respectivement). On peut ainsi y renvoyer.
2.2 Le jugement entrepris rappelle correctement les dispositions légales (en particulier les art. 4 et 28 LAI, dans leur teneur en vigueur jusqu'au 31 décembre 2002 et jusqu'au 31 décembre 2003 respectivement). On peut ainsi y renvoyer.
3. Il est établi que l'assuré présente une incapacité de travail totale dans son ancienne profession de maçon, mais qu'il est apte à exercer, à 80 %, une activité adaptée (sans sollicitation importante de l'épaule droite et avec alternance des positions). L'année déterminante pour la comparaison des revenus est 2002 (<ref-ruling>).
3. Il est établi que l'assuré présente une incapacité de travail totale dans son ancienne profession de maçon, mais qu'il est apte à exercer, à 80 %, une activité adaptée (sans sollicitation importante de l'épaule droite et avec alternance des positions). L'année déterminante pour la comparaison des revenus est 2002 (<ref-ruling>).
4. Le recourant remet en question les montants retenus par la juridiction cantonale au titre de revenu sans invalidité et de revenu d'invalide.
4.1 Les premiers juges ont fixé le revenu sans invalidité à 63'360 fr. (valeur 2002), en fonction du salaire qu'aurait réalisé le recourant en 2001 auprès de l'entreprise X._ SA (62'092 fr.), après adaptation à l'augmentation des salaires de 1,8 %. Ce montant est fondé sur un salaire-horaire de 27 fr. 15 (valeur 2001). L'employeur a précisé sur le questionnaire destiné à l'administration que l'intéressé était un «maçon qualifié avec un rendement à 75 % sur l'horaire plein». C'est en vain que le recourant se prévaut de cette mention pour soutenir qu'il aurait gagné 25 % de plus, soit 82'784 fr. brut par année, s'il n'avait pas été invalide. Aux motifs avancés par les premiers juges (cf. consid. 4b du jugement entrepris), il y lieu d'ajouter tout d'abord que le montant de 82'784 fr. est très éloigné du salaire annuel habituel des maçons qui se situe (tout au moins dans les petites agglomérations) plutôt entre 60'000 et 65'000 fr., même pour du personnel qualifié (cf. par ex. arrêts L. du 5 novembre 2004, I 217/04, C. du 13 mai 2003, I 244/02, S. du 2 avril 2003, I 339/02 et A. du 22 mai 2001, I 522/00).
Ensuite, le montant contractuel de 27 fr. 15 (valeur 2001) est très proche du salaire de base de 27 fr. 90 ou 5030 fr. par mois, valable dès novembre 2002, prévu pour un maçon qualifié (catégorie Q) dans le canton de Neuchâtel par la Convention nationale du secteur principal de la construction, dans sa teneur de 2003-2005 (CN 2005).
Enfin, le liquidateur de la société X._ SA a confirmé, par lettre du 17 janvier 2003, que la mention en cause a été apportée dans une deuxième version du contrat de travail pour tenir compte de l'invalidité de 25 % présentée par l'employé une fois que la société a été informée de ce fait, sans que le salaire initial de 4500 fr. par mois ait été revu à la baisse, de sorte que même en bonne santé, l'intéressé n'aurait pas gagné plus. Convaincantes, ces explications ne sont pas contredites par les pièces du dossier, contrairement à ce que soutient le recourant. En particulier, cette volonté de l'employeur s'est traduite par une séparation très nette entre la rubrique salaire (sans restriction aucune) et la mention du rendement à 75 % qui figure sous le poste «fonction dans l'entreprise». Ce procédé permettait visiblement de clarifier la situation vis-à-vis de l'assurance-accidents qui verse à l'assuré une rente de 25 %.
Dans ces circonstances, une instruction complémentaire sur ce point ne se justifie pas.
4.2 Il convient dès lors de confirmer le revenu sans invalidité fixé par les premiers juges à 63'360 fr. (valeur 2002). En revanche, il n'y a pas lieu de prendre en considération d'hypothétiques possibilités d'avancement, dont aucune n'est mentionnée concrètement. Le seul fait que le recourant a donné satisfaction à ses divers employeurs ne suffit pas à cet égard.
4.3 Le recourant ne conteste pas le revenu d'invalide fixé à 46'454 fr., par les premiers juges, en fonction d'une incapacité de travail de 80 %, sur la base des données résultant de l'Enquête sur la structure des salaires (ESS) 2000 et compte tenu de l'évolution des salaires en 2001 et 2002 (<ref-ruling> consid. 3b/aa et bb, 124 V 322). En revanche, il fait valoir que ce revenu doit être réduit de 25 % pour tenir compte d'un certain nombre de facteurs susceptibles de réduire sa capacité de travail résiduelle (nationalité, handicap physique, passage d'un travail de force à une activité légère, travail à temps partiel).
La mesure dans laquelle les salaires ressortant des statistiques doivent être réduits, dépend de l'ensemble des circonstances personnelles et professionnelles du cas particulier (limitations liées au handicap, âge, années de service, nationalité/catégorie d'autorisation de séjour et taux d'occupation). Une déduction globale maximum de 25 % sur le salaire statistique permet de tenir compte des différents éléments qui peuvent influencer le revenu d'une activité lucrative (<ref-ruling> s. consid. 5b/aa-cc; VSI 2002 p. 70 s. consid. 4b).
Né en 1960, le recourant est relativement jeune. Il est au bénéfice d'une expérience professionnelle acquise en Suisse depuis 1983; il ne présente dès lors aucune limitation liée à l'âge ou à la nationalité. Par ailleurs, les limitations liées à son handicap ont été prises en considération de manière importante lors de l'appréciation de la capacité de travail par l'expert O._. Aussi une déduction de 5 %, au plus, apparaît-elle justifiée pour tenir compte du passage à une activité à temps partiel. Compte tenu de cet abattement, le revenu d'invalide atteint 44'131 fr.
Né en 1960, le recourant est relativement jeune. Il est au bénéfice d'une expérience professionnelle acquise en Suisse depuis 1983; il ne présente dès lors aucune limitation liée à l'âge ou à la nationalité. Par ailleurs, les limitations liées à son handicap ont été prises en considération de manière importante lors de l'appréciation de la capacité de travail par l'expert O._. Aussi une déduction de 5 %, au plus, apparaît-elle justifiée pour tenir compte du passage à une activité à temps partiel. Compte tenu de cet abattement, le revenu d'invalide atteint 44'131 fr.
5. La comparaison des revenus conduit à un taux d'invalidité arrondi (cf. <ref-ruling> consid. 3) de 30 % ([63'360 - 44'131] x 100 : 63'360), taux qui n'ouvre pas le droit à une rente d'invalidité (<ref-law>).
5. La comparaison des revenus conduit à un taux d'invalidité arrondi (cf. <ref-ruling> consid. 3) de 30 % ([63'360 - 44'131] x 100 : 63'360), taux qui n'ouvre pas le droit à une rente d'invalidité (<ref-law>).
6. On ajoutera que le résultat ne serait pas différent, si le revenu sans invalidité avait été calculé selon les salaires applicables dès la fin de l'année 2002 selon la CN 2005 (27 fr. 90 par heure, 5030 fr. par mois
ou 65'390 fr. par an).
Il en irait de même si, pour fixer le revenu sans invalidité, on appliquait l'Enquête sur la structure des salaires (ESS) 2002 (salaire mensuel 4557 fr., voir TA1, p. 43).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 26 novembre 2004
Au nom du Tribunal fédéral des assurances
Le Président de la IIe Chambre: La Greffière: