Faits :
A.
A._, né en 1962, est titulaire d'un certificat fédéral de capacité de boucher-charcutier. Il a fondé et exploité en qualité d'indépendant une boucherie à U._ dès juin 2000. Il a saisi l'Office cantonal AI du Valais (ci-après: l'office AI) d'une première demande de prestations le 20 juin 2016, qui a été rejetée par décision du 26 septembre 2016.
En arrêt de travail depuis le 15 octobre 2017, A._ a déposé une nouvelle demande de prestations le 20 décembre 2017. L'office AI a recueilli notamment l'avis de la doctoresse B._, spécialiste en médecine interne générale et en rhumatologie (du 22 décembre 2017), puis mis en oeuvre une enquête économique pour indépendant (rapport du 9 mai 2018). Il a ensuite soumis l'assuré à une évaluation auprès de son Service médical régional (SMR). Dans un rapport daté du 19 février 2019, le docteur C._, spécialiste en médecine interne générale et en médecine physique et réadaptation, a diagnostiqué - avec répercussion sur la capacité de travail - une polyarthrose secondaire (genoux, hanche gauche, épaules, rhizarthrose gauche) et une chondrocalcinose primaire. Selon le médecin du SMR, l'assuré ne pouvait plus exercer l'activité de boucher-charcutier depuis le 15 octobre 2017, mais disposait d'une capacité de travail résiduelle complète dans une activité adaptée depuis toujours.
A l'invitation de A._, la doctoresse B._ a pris position sur les conclusions du médecin du SMR le 7 mai 2019. Le 16 août 2019, le docteur D._, spécialiste en médecine interne générale et médecin auprès du SMR, a confirmé la capacité de travail résiduelle complète de l'assuré et décrit les limitations fonctionnelles. Par décision du 23 octobre 2019, l'office AI a octroyé à l'assuré un quart de rente de l'assurance-invalidité dès le 1 er octobre 2018 (degré d'invalidité de 45 %).
B.
Statuant le 3 septembre 2020, le Tribunal cantonal du Valais, Cour des assurances sociales, a rejeté le recours formé par l'assuré contre cette décision.
C.
A._ forme un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut en substance à l'octroi d'une demi-rente d'invalidité au moins, voire d'une rente entière dès le 1er octobre 2018. Subsidiairement, il demande le renvoi de la cause à l'autorité précédente ou à l'office AI pour nouvelle décision au sens des considérants.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte (c'est-à-dire arbitraire au sens de l'art. 9 Cst.; <ref-ruling> consid. 6.7 p. 257; <ref-ruling> consid. 2.2 p. 313) ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2.
Le litige porte sur l'étendue du droit du recourant à une rente de l'assurance-invalidité (demi-rente ou rente entière au lieu du quart de rente reconnu). A cet égard, le jugement entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels indispensables à la résolution du cas. Il suffit d'y renvoyer.
3.
3.1. En se fondant sur l'avis des médecins du SMR des 19 février et 16 août 2019, la juridiction cantonale a retenu que le recourant pouvait exercer à plein temps un emploi léger n'exigeant pas d'effectuer des mouvements répétitifs. Elle a ensuite évalué le degré d'invalidité en procédant à une comparaison des revenus. Au titre du revenu sans invalidité, elle a pris en considération la moyenne des deux derniers revenus annuels effectivement réalisés par le recourant (113'426 fr. en 2016 et 107'775 fr. en 2017), qui était selon les premiers juges l'hypothèse la plus favorable à celui-ci. Elle a donc fixé le revenu annuel (brut) sans invalidité du recourant à 110'600 fr. Quant au revenu d'invalide, la juridiction cantonale a considéré que l'office AI s'était référé à juste titre au salaire moyen, tous secteurs confondus, du niveau 1 de l'Enquête suisse sur la structure des salaires (ESS), avec une déduction de 10 % pour tenir compte de l'ensemble des limitations fonctionnelles décrites. Elle a confirmé, par renvoi à la décision de l'office AI, un revenu annuel d'invalide de 61'161 fr. 10.
3.2. Le recourant conteste la fixation de ses revenus avec et sans invalidité. Il requiert que son revenu sans invalidité soit porté à 121'246 fr. 87 (augmentation de 12,5 % par rapport au revenu de 107'775 fr. réalisé en 2017) en raison de la fin de la phase d'adaptation après la restructuration de son entreprise en 2016, de l'acquisition progressive d'une notoriété dans le milieu des produits du terroir (avec notamment une médaille d'or pour son jambon en 2015 et une autre médaille d'or pour sa viande séchée en 2017), de la dégradation progressive de sa capacité de travail, des différents éléments comptables versés au dossier et du rapport d'enquête pour indépendant. Quant à son revenu d'invalide, il reproche tout d'abord à la juridiction cantonale d'avoir suivi les conclusions du médecin du SMR sur sa capacité résiduelle de travail plutôt que celles de la doctoresse B._. Il demande ensuite que le facteur d'abattement soit porté de 10 à 22,5 % en raison de son impossibilité à effectuer des tâches répétitives, de son repos quotidien après la sollicitation des articulations, de son manque de flexibilité, du caractère aléatoire de ses arrêts de travail et des lourds effets secondaires des médicaments contre la douleur (notamment sur sa capacité à conduire).
4.
4.1. S'agissant tout d'abord de la répercussion de l'atteinte à la santé sur sa capacité de travail dans une activité adaptée, le recourant se limite à opposer les conclusions de la doctoresse B._ à celles du docteur C._ sans discuter les différents éléments qui ont convaincu les premiers juges de suivre les secondes. Il n'expose en particulier pas, même de manière succincte, quels éléments objectivement vérifiables de l'avis de la doctoresse B._ auraient été ignorés ou méconnus par les premiers juges et seraient suffisamment pertinents pour remettre en cause les conclusions du médecin du SMR. Par conséquent, au regard du pouvoir d'examen du Tribunal fédéral quant aux faits, il n'y a pas lieu de s'écarter de l'appréciation des preuves administrées par la juridiction cantonale (consid. 1 supra), dès lors que le recourant ne développe pas dans son mémoire une argumentation susceptible d'en établir le caractère arbitraire. Le grief doit ainsi être rejeté.
4.2. Le recourant reprend ensuite mot pour mot les mêmes critiques que celles qu'il avait déjà soulevées en instance cantonale sur la fixation de son revenu sans invalidité. Cette manière de procéder n'est pas conforme aux exigences minimales de motivation d'un recours devant le Tribunal fédéral (art. 42 al. 1 et 2 et 106 al. 2 LTF; <ref-ruling> consid. 2 p. 245). Elle ne permet en particulier nullement de déceler, même succinctement, en quoi le résultat de l'appréciation des preuves auquel est parvenu la cour cantonale serait manifestement inexact au sens de l'<ref-law> ou d'une autre manière contraire au droit. Un tel vice ne saute par ailleurs pas d'emblée aux yeux (<ref-law>; <ref-ruling> consid. 6.2 p. 288), ce d'autant moins que l'augmentation de 12,5 % repose sur une simple affirmation du recourant. En l'absence d'une critique suffisamment motivée du jugement attaqué, il n'y a pas lieu de s'écarter du revenu annuel brut sans invalidité de 110'600 fr. fixé par la juridiction cantonale.
4.3. Reprenant encore de larges pans, presque mot pour mot, de l'argumentation développée en instance cantonale, c'est finalement en vain que le recourant reproche à la juridiction cantonale de n'avoir pas opéré une déduction globale sur le salaire statistique retenu au titre de revenu d'invalide de plus de 10 %. Mises à part les limitations fonctionnelles décrites par le médecin du SMR, qui constituent un facteur susceptible d'avoir une influence sur les perspectives salariales du recourant (<ref-ruling>), les autres éléments invoqués par le recourant ne sont pas déterminants et relèvent de plus d'affirmations non étayées. Pour fixer le revenu d'invalide, la juridiction cantonale s'est fondée sur les données économiques statistiques, singulièrement sur le revenu auquel peuvent prétendre les hommes effectuant des "tâches physiques ou manuelles simples". Cette valeur statistique s'applique à tous les assurés qui ne peuvent plus accomplir leur ancienne activité parce qu'elle est physiquement trop astreignante pour leur état de santé, mais qui conservent néanmoins une capacité de travail importante dans des travaux légers (voir parmi d'autres, arrêts 9C_603/2015 du 25 avril 2016 consid. 8.1 et 9C_692/2015 du 23 février 2016 consid. 3.1 et la référence). A l'inverse de ce que croit le recourant, ce salaire statistique ne repose en outre pas sur la mise en oeuvre d'activités exclusivement répétitives. Le recourant ne conteste d'ailleurs nullement le caractère adéquat des activités décrites à titre exemplatif par la coordinatrice réadaptation de l'assurance-invalidité dans sa prise de position du 1er octobre 2019. Au regard de la nature des activités encore exigibles, le recourant n'établit pour le surplus pas en quoi les limitations fonctionnelles décrites par le médecin du SMR seraient susceptibles de réduire ses perspectives salariales de plus de 10 % dans une activité de substitution pleinement adaptée.
5.
Mal fondé, le recours doit être rejeté. Vu l'issue de la procédure, le recourant doit supporter les frais de la procédure fédérale (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 17 novembre 2020
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Bleicker