Faits :
A.
A.a. En avril 2010, A._, né en 1959, a présenté une demande de prestations de l'assurance-invalidité. Entre autres mesures d'instruction, l'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI) a mandaté le docteur B._, spécialiste en médecine interne générale et en rhumatologie, pour une expertise. Le médecin a retenu les diagnostics incapacitants de gonarthrose droite (M17.9) avec épanchements à répétition, présente depuis 2010, et de kyste du quadriceps, ainsi que d'arthrose du poignet gauche (M19.9) avec tendinite chronique des tendons extenseurs des doigts, présente depuis 2009 (rapport du 26 octobre 2011). Il a conclu à une capacité de travail nulle dans l'activité habituelle de maçon, mais entière dans une activité adaptée aux limitations fonctionnelles. L'administration a ensuite sollicité des renseignements médicaux, notamment auprès du docteur C._, spécialiste en médecine interne générale et médecin traitant, qui a indiqué ne pas pouvoir confirmer une pleine capacité de travail chez son patient, même dans une activité adaptée aux limitations fonctionnelles retenues et préconisé une nouvelle expertise (rapport du 28 juin 2013). Celle-ci a été confiée par l'office AI au docteur D._, spécialiste en médecine interne générale et en rhumatologie. Dans son rapport du 6 mai 2014, le médecin a posé les diagnostics avec répercussion sur la capacité de travail de gonarthrite avec méniscopathie sous-jacente droite et de lombalgies chroniques. Selon lui, l'assuré présentait une incapacité totale de travail dans l'activité de maçon depuis janvier 2011; dans une activité adaptée, sa capacité de travail était de 100 % avec une diminution de rendement de 20 %. L'office AI a également soumis l'assuré à une expertise psychiatrique auprès du docteur E._, spécialiste en psychiatrie et psychothérapie, qui n'a retenu aucun diagnostic incapacitant (rapport du 3 mars 2016). Après lui avoir octroyé une mesure d'orientation professionnelle auprès de l'Organisation romande pour l'intégration et la formation professionnelle (Orif) du 29 août au 18 novembre 2016 (communication du 22 août 2016), l'administration a refusé toute prestation à A._, motif pris d'un taux d'invalidité insuffisant (33 %) pour ouvrir le droit à une rente d'invalidité ou à des mesures professionnelles (décision du 27 février 2017).
A.b. Statuant le 20 septembre 2017 sur le recours formé par l'assuré contre cette décision, la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, l'a admis. Elle a annulé la décision du 27 février 2017 et renvoyé la cause à l'administration pour instruction complémentaire et nouvelle décision. L'office AI a complété l'instruction sous l'angle médical puis sollicité l'avis de son Service médical régional (SMR), qui a fait état d'une aggravation de l'état de santé de A._ entraînant une incapacité totale de travail depuis au plus tard mai 2016, en relation avec une coxarthrose droite symptomatique (rapport du 30 novembre 2018). En conséquence, il a reconnu le droit de l'assuré à une rente entière d'invalidité du 1 er octobre 2010 au 30 avril 2011, à un quart de rente du 1 er mai 2011 au 31 juillet 2016, puis à une rente entière dès le 1 er août 2016 (décisions du 19 mars 2019).
B.
Par jugement du 4 mars 2020, la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, a rejeté le recours formé par A._ contre cette décision.
C.
A._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il conclut principalement à la reconnaissance du droit à une rente entière d'invalidité pour la période du 1 er mai 2011 au 31 juillet 2016, subsidiairement à une demi-rente, ainsi qu'à la confirmation de la décision du 19 mars 2019 pour le surplus. Plus subsidiairement, il requiert le renvoi de la cause à la juridiction cantonale pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
Le recours en matière de droit public (au sens des art. 82 ss LTF) peut être formé pour violation du droit (circonscrit par les art. 95 et 96 LTF). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est limité ni par l'argumentation de la partie recourante ni par la motivation de l'autorité précédente. Il statue sur la base des faits établis par celle-ci (art. 105 al. 1 LTF) mais peut les rectifier et les compléter d'office si des lacunes et des erreurs manifestes apparaissent d'emblée (art. 105 al. 2 LTF). En principe, il n'examine que les griefs motivés (art. 42 al. 2 LTF), surtout s'ils portent sur la violation des droits fondamentaux (art. 106 al. 2 LTF). Il ne peut pas aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Le recourant peut critiquer la constatation des faits qui ont une incidence sur le sort du litige seulement s'ils ont été établis en violation du droit ou de manière manifestement inexacte (art. 97 al. 1 LTF).
2.
2.1. Le litige porte sur l'étendue du droit du recourant à une rente d'invalidité pour la période du 1 er mai 2011 au 31 juillet 2016, plus particulièrement sur le taux d'invalidité justifiant l'allocation d'une prestation plus élevée que le quart de rente accordé par la juridiction cantonale à la suite de l'office intimé.
2.2. Le jugement attaqué expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs notamment à la notion d'invalidité (art. 7 et 8 al. 1 LPGA en relation avec l'art. 4 al. 1 LAI) et à son évaluation (art. 16 LPGA et art. 28a LAI), en particulier s'agissant de l'influence de facteurs psychosociaux ou socioculturels (<ref-ruling> consid. 5a p. 299 s.) et de l'abattement relatif au revenu d'invalide (<ref-ruling> consid. 5.2 p. 327 s.; <ref-ruling>). Il rappelle également les règles concernant la valeur probante des rapports médicaux (<ref-ruling> consid. 2.2.2 p. 126 s.; <ref-ruling> consid. 5.1 p. 232; <ref-ruling> consid. 3 p. 352), le rôle respectif des médecins et des organes d'observation professionnelle (<ref-ruling> consid. 3.2 p. 195 s.; <ref-ruling> consid. 2b p. 20), ainsi que la libre appréciation des preuves (art. 61 let. c LPGA). Il suffit d'y renvoyer.
3.
Le recourant reproche à la juridiction cantonale d'avoir apprécié arbitrairement les preuves en suivant les conclusions du docteur D._, dont il remet en cause la valeur probante, pour considérer qu'il présentait une capacité de travail dans une activité adaptée de 100 %, avec une baisse de rendement de 20 %, durant la période du 1er mai 2011 au 31 juillet 2016. Il se réfère à cet égard à un rapport établi par le docteur F._, spécialiste en rhumatologie et médecin traitant, le 11 octobre 2012, selon lequel sa capacité de travail était de 50 % seulement dans une activité adaptée. L'assuré s'en prend également à l'abattement de 15 % que les premiers juges ont appliqué au revenu d'invalide, en leur faisant grief d'avoir "sous-évalué" son absence de formation et son âge.
4.
4.1. En ce qui concerne les aspects médicaux invoqués par le recourant, contrairement à ce qu'il soutient d'abord de manière péremptoire, le docteur D._ n'a pas omis de prendre en considération certains éléments médicaux retenus par le docteur F._. A la lecture du rapport d'expertise du 6 mai 2014, on constate en effet que le docteur D._ a mentionné et discuté le diagnostic d'arthrose du poignet gauche avec tendinite chronique des tendons extenseurs des doigts posé par son confrère, et qu'il a également relaté les plaintes de l'assuré relatives à des douleurs aux deux mains. Il a ensuite retenu, entre autres diagnostics, celui de douleurs des poignets sans signe de synovite, tout en expliquant les raisons pour lesquelles il a considéré que celui-ci n'était pas incapacitant. Le recourant se limite à soutenir que le docteur D._ "ne fait pas état" du diagnostic posé par le docteur F._, sans remettre en cause son appréciation médicale, de sorte qu'il n'y a pas lieu d'y revenir.
Les autres critiques que développe le recourant à l'appui de l'absence de valeur probante de l'expertise du docteur D._ ne sont pas davantage fondées. D'une part, on ne voit pas en quoi le fait que ce médecin a indiqué qu'il avait une bonne maîtrise du français serait déterminant. D'éventuelles difficultés linguistiques de la personne assurée constituent de manière générale un facteur étranger à l'invalidité, qui n'entre pas en considération lors de l'évaluation de la capacité de travail par le médecin. D'autre part, si le docteur D._ a certes mentionné que le recourant a "stopp[é] son activité professionnelle le 19.09.2000", il ne s'agit que d'une erreur de frappe dans la date; en reprenant les étapes de la situation socioprofessionnelle du recourant, l'expert a en effet exposé de manière circonstanciée que celui-ci avait travaillé, notamment de 2000 à septembre 2009, en tant que maçon.
4.2. C'est également en vain que le recourant se réfère au rapport établi par le docteur F._ le 11 octobre 2012 en soutenant qu'il disposait d'une capacité de travail de 50 % seulement dans une activité adaptée au cours de la période litigieuse. Pour démontrer que l'appréciation des preuves de la juridiction cantonale est arbitraire, il ne suffit pas de se référer à un avis médical qu'elle n'a pas suivi pour des motifs qu'elle a dûment exposés et d'affirmer que "c'est bien" celui-ci qui aurait dû être pris en considération. Opposer simplement une autre évaluation médicale sur la capacité de travail de l'assuré à celle, divergente, sur laquelle se sont fondés les premiers juges, sans discuter des motifs qui ont guidé leur choix, relève d'une argumentation appellatoire sur laquelle il n'y a pas lieu d'entrer en matière.
Partant, il n'y a pas lieu de s'écarter des constations cantonales, selon lesquelles le recourant a présenté une capacité de travail de 100 % dans une activité adaptée avec une baisse de rendement de 20 % entre le 1er mai 2011 et le 31 juillet 2016.
5.
5.1. S'agissant ensuite des effets de la capacité résiduelle de travail sur le plan économique, singulièrement de l'abattement de 15 % que les premiers juges ont appliqué au revenu d'invalide, ils l'ont motivé par les limitations fonctionnelles qui empêchent, en particulier, le recourant de travailler debout, de marcher longtemps et de porter des charges de plus de 3 à 5 kg, ainsi que par son âge (52 ans au moment de la naissance de son droit à une rente d'invalidité). En se contentant de soutenir que son absence de formation et son âge "présentaient une importance particulière au vu de son parcours professionnel et des perspectives d'emploi durant la période du 1er mai 2011 au 31 juillet 2016", d'où la nécessité d'opérer une réduction de 25 % sur le revenu statistique d'invalide, le recourant n'établit pas que la cour cantonale aurait de quelque façon violé le droit ou outrepassé son pouvoir d'appréciation (<ref-ruling> consid. 5.2 p. 73 ss) en retenant un taux d'abattement de 15 %.
C'est également en vain que le recourant se réfère à ses "capacités linguistiques déficientes" comme facteur d'abattement. S'il est exact que l'assuré a été assisté d'une interprète en langue portugaise lors de l'audience de comparution personnelle du 22 janvier 2020, il ressort cependant d'un rapport d'intégration socioprofessionnelle établi par le directeur de l'Orif le 23 novembre 2016, qu'il a "un niveau moyen en français pour non francophone". De telles connaissances linguistiques ne constituent pas un handicap pour occuper des postes dans le secteur du conditionnement léger de médicaments ou du polissage de petites pièces horlogères, tels que ceux décrits comme adaptés par le directeur de l'Orif. On ajoutera que les experts ayant examiné l'assuré ont également relevé qu'il était en mesure de s'exprimer correctement en français: alors que le docteur D._ a fait état d'une "bonne maîtrise du français", le docteur E._ a constaté que le recourant avait répondu "de manière claire" aux questions qu'il lui avait posées durant son expertise (rapport du 3 mars 2016).
Quant au fait que l'assuré "a toujours exercé une activité de maçon depuis son adolescence", il ne s'agit pas d'un facteur limitant les perspectives salariales admis par la jurisprudence (cf. ATF <ref-ruling> consid. 5b/aa-cc p. 79 s.).
5.2. Le recourant ne saurait finalement être suivi lorsqu'il soutient que les premiers juges auraient dû se fonder sur un revenu d'invalide de 56'609 fr. 30 et non de 61'733 fr. Ce dernier montant correspond en effet au salaire de référence auquel peuvent prétendre les hommes effectuant des activités simples et répétitives dans le secteur privé toutes branches économiques confondues de la production et des services, selon le TA1, niveau de compétence 4, hommes, de l'Enquête suisse sur la structure des salaires 2010 (58'812 fr.), adapté à la durée hebdomadaire moyenne usuelle dans les entreprises en 2011 (41,6 heures) et indexé selon l'indice suisse nominal des salaires (ISS). A cet égard, c'est en vain que l'assuré se réfère à l'arrêt 9C_140/2018 du 30 mai 2018, puisque le salaire de référence selon l'ESS est déterminé selon la tabelle applicable, et non selon la jurisprudence. Le recourant ne s'en prend au demeurant pas aux étapes intermédiaires du calcul opérées par l'office AI (adaptation du salaire statistique à la durée hebdomadaire moyenne usuelle dans les entreprises en 2011 et indexation selon l'ISS; cf. Détermination du degré d'invalidité du 10 décembre 2018).
5.3. En se fondant sur le revenu sans invalidité (81'848 fr.) retenu par l'office AI et le revenu d'invalide qu'il a fixé à 41'979 fr. (soit 61'733 fr. sous déduction de 20 % correspondant à la diminution de rendement et d'un abattement de 15 %) - ces montants ayant été implicitement repris par la juridiction cantonale (jugement entrepris, consid. 12b p. 23 in fine), le taux d'invalidité du recourant s'élève à 48,7 %, arrondi à 49 %. Ce taux d'invalidité ouvre le droit à un quart de rente de l'assurance-invalidité pour la période du 1er mai 2011 au 31 juillet 2016. Le recours est par conséquent mal fondé.
6.
Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 17 juin 2020
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud