Faits :
A.
A._ travaillait comme maçon. Il a été opéré au service de neurochirurgie de l'Hôpital C._ en raison d'une atteinte radiculaire avec déficit moteur du releveur du pied les 22 et 24 février 2015. En arrêt de travail depuis lors, il a déposé une demande de prestations de l'assurance-invalidité le 22 mai 2015.
En se fondant sur l'avis du docteur D._, spécialiste en médecine interne générale et en rhumatologie (rapport du 8 février 2016), l'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI) a retenu une incapacité totale de travail dans l'activité habituelle; l'assuré disposait en revanche d'une capacité de travail entière dans une activité adaptée, à savoir une activité essentiellement assise, avec des périodes de repos. Par décision du 28 avril 2016, l'office AI a rejeté la demande de prestations.
B.
A._ a déféré cette décision à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales. L'office AI a produit en cours d'instance un avis du médecin de son Service médical régional (SMR) recommandant la prise en compte d'une baisse de rendement de 20 % depuis février 2016. Statuant le 6 décembre 2016, la Cour de justice a partiellement admis le recours et octroyé à l'assuré un quart de rente de l'assurance-invalidité dès le 1er novembre 2015.
C.
L'office AI forme un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à la confirmation de la décision du 28 avril 2016.
L'assuré conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par l'autorité précédente (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées, sinon un état de fait divergent ne peut être pris en considération (<ref-law>).
2.
Le litige porte sur le droit de l'intimé à un quart de rente de l'assurance-invalidité. Le jugement entrepris expose de manière complète les règles légales et les principes jurisprudentiels sur la notion d'invalidité et son évaluation. Il suffit d'y renvoyer.
3.
3.1. L'office recourant s'en prend uniquement à l'abattement opéré par la juridiction cantonale sur le salaire avec invalidité résultant des données statistiques de l'Enquête suisse sur la structure des salaires (ESS). Il affirme que les premiers juges ont substitué de manière arbitraire leur appréciation à la sienne en opérant une déduction de 20 % (et non de 10 %). A cet égard, il soutient que le manque de connaissance linguistique n'est pas un critère permettant de justifier une réduction supplémentaire du revenu avec invalidité. Qui plus est, l'intimé avait travaillé plusieurs années en Suisse et déclaré ne pas être intéressé à prendre des cours d'alphabétisation.
3.2. Il est notoire que les personnes atteintes dans leur santé, qui présentent des limitations même pour accomplir des activités légères, sont désavantagées sur le plan de la rémunération par rapport aux travailleurs jouissant d'une pleine capacité de travail et pouvant être engagés comme tels; ces personnes doivent généralement compter sur des salaires inférieurs à la moyenne (<ref-ruling> consid. 3b/bb p. 323). La mesure dans laquelle les salaires ressortant des statistiques doivent par conséquent être réduits dépend de l'ensemble des circonstances personnelles et professionnelles du cas particulier (limitations liées au handicap, âge, années de service, nationalité, autorisation de séjour et taux d'occupation). Une déduction globale maximale de 25 % sur le salaire statistique permet de tenir compte des différents éléments qui peuvent influencer le revenu d'une activité lucrative (<ref-ruling> consid. 5b/aa-cc p. 79).
L'étendue de l'abattement du salaire statistique dans un cas concret constitue une question typique relevant du pouvoir d'appréciation, qui est soumise à l'examen du juge de dernière instance uniquement si la juridiction cantonale a exercé son pouvoir d'appréciation de manière contraire au droit, soit a commis un excès positif ou négatif de son pouvoir d'appréciation ou a abusé de celui-ci, notamment en retenant des critères inappropriés, en ne tenant pas compte de circonstances pertinentes, en ne procédant pas à un examen complet des circonstances pertinentes ou en n'usant pas de critères objectifs (<ref-ruling> consid. 5.1 p. 72).
3.3. Les premiers juges ont constaté en l'espèce que l'intimé présentait tout d'abord des limitations fonctionnelles susceptibles d'influer sur ses perspectives salariales dans une activité adaptée. Après un examen de l'ensemble des circonstances, ils ont ensuite considéré que la déduction opérée par l'administration (10 %) ne tenait pas suffisamment compte des difficultés rencontrées par l'assuré pour communiquer en français et de son analphabétisme. Dès lors que l'assuré avait travaillé pendant seulement six ans en Suisse avant l'atteinte à la santé, les premiers juges ont retenu qu'un taux d'abattement de 20 % permettait de mieux tenir compte de la situation particulière de celui-ci.
3.4. Ce faisant, comme le soutient l'office recourant, les premiers juges se sont appuyés sur des circonstances non pertinentes. Le niveau de qualification professionnelle retenu par la juridiction cantonale ne nécessite en l'espèce pas une bonne maîtrise d'une langue nationale (cf. par exemple arrêts 9C_777/2015 du 12 mai 2016 consid. 5.3 et 9C_344/2015 du 25 novembre 2015 consid. 2.3). L'analphabétisme pris en considération par la juridiction cantonale est par ailleurs un critère dont l'assurance-invalidité n'a pas à tenir compte (cf. arrêts 8C_328/2011 du 7 décembre 2011 consid. 10.2, I 532/05 du 13 juillet 2006 consid. 5.2). La juridiction cantonale a par conséquent excédé son pouvoir d'appréciation en s'écartant du taux d'abattement (10 %) fixé par l'administration.
3.5. Il y a dès lors lieu de procéder à un nouveau calcul de l'invalidité de l'intimé. En procédant à un abattement de 10 % sur le revenu constaté par les premiers juges (53'306 fr., après déduction de la diminution de rendement de 20 % retenue par le médecin du SMR), et qui n'est pas contesté par les parties, on obtient un revenu d'invalide de 47'975 fr. 40. Comparé au revenu sans invalidité de 73'164 fr., le taux d'invalidité de l'intimé s'élève à 34 % (34,40 %), soit à un taux ne donnant pas droit à une rente de l'assurance-invalidité (<ref-law>).
4.
Au vu de ce qui précède, la décision entreprise doit être réformée en ce sens que le recours cantonal est rejeté et la décision de l'Office de l'assurance-invalidité du canton de Genève du 28 avril 2016 confirmée.
5.
Vu l'issue du litige, les frais judiciaires sont mis à la charge de l'intimé (<ref-law>), qui succombe. Il a cependant déposé une demande d'assistance judiciaire visant à la dispense des frais judiciaires et à la désignation d'un avocat d'office. Dès lors que les conditions d'octroi sont réalisées (art. 64 al. 1 et 2 LTF), l'assistance judiciaire lui est accordée. L'intimé est rendu attentif au fait qu'il devra rembourser la Caisse du Tribunal fédéral, s'il retrouve ultérieurement une situation financière lui permettant de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. La décision de la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, du 6 décembre 2016 est annulée et la décision de l'Office de l'assurance-invalidité du canton de Genève du 28 avril 2016 est confirmée.
2.
La demande d'assistance judiciaire de l'intimé est admise pour la procédure devant le Tribunal fédéral et Me Catarina Monteiro Santos est désignée comme avocate d'office.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé. Ils sont toutefois supportés provisoirement par la Caisse du Tribunal fédéral.
4.
Une indemnité de 2'400 fr. est allouée à l'avocate de l'intimé à titre d'honoraires à payer par la Caisse du Tribunal fédéral.
5.
La cause est renvoyée à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, pour nouvelle décision sur les frais et dépens de la procédure antérieure.
6.
Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 29 juin 2017
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
Le Greffier : Bleicker