Faits :
A.
A._ a travaillé en tant que chef d'équipe jardinier jusqu'au 18 juin 2008. Le 4 mai 2011, il a déposé une demande de prestations auprès de l'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI).
L'office AI a recueilli l'avis des médecins traitants, en particulier celui du docteur B._, spécialiste en médecine interne générale. Dans un rapport du 1 er juin 2011, celui-ci a diagnostiqué un syndrome douloureux musculo-squelettique (fibromyalgie), un syndrome d'apnée du sommeil sévère, une amputation traumatique des doigts de la main droite, et un état dépressif chronique; il a retenu que l'assuré était entièrement incapable de travailler dans son activité habituelle depuis le 16 mars 2009 et disposait d'une capacité de 50 % dans une activité adaptée. Dans un questionnaire daté du 15 juillet 2011, l'ancien employeur de A._ a par ailleurs indiqué qu'il avait employé ce dernier du 1 er mars 1994 au 30 juin 2009, que son dernier salaire était de 8'150 fr. par mois, que la résiliation était due au fait qu'il "ne convenait plus" et qu'il s'agissait d'un "licenciement économique". L'intéressé a contesté le congé et ouvert action devant la juridiction des Prud'hommes.
La Clinique romande de réadaptation (CRR) a réalisé une expertise pluridisciplinaire sur mandat de l'office AI. Dans leur rapport du 8 avril 2013, complété le 10 juillet 2013, les experts ont retenu comme diagnostics affectant la capacité de travail un syndrome d'apnée du sommeil de type mixte, une possible légère polyneuropathie sensitivomotrice aux deux membres inférieurs et des rachialgies non spécifiques. Ils ont conclu que l'assuré était entièrement incapable d'exercer une activité lourde, telle son ancienne activité de jardinier, depuis le mois de juin 2008 mais disposait d'une capacité de travail entière dès le mois de mai 2009 dans une activité adaptée à ses limitations fonctionnelles.
Le 6 janvier 2014, l'office AI a accepté de prendre en charge un stage d'orientation professionnelle auprès de l'Organisation romande pour la formation et l'intégration professionnelle (ORIF) du 13 janvier au 6 avril 2014. Dans son rapport du 4 avril 2014, le responsable compétent a indiqué que, selon ses observations, A._ pouvait travailler à 100 % dans une activité adaptée.
Par projet de décision du 15 mai 2014, l'office AI a informé l'assuré qu'il entendait refuser toute prestation, compte tenu d'un degré d'invalidité évalué à 27 %. L'intéressé a contesté ce projet de décision par courrier du 5 juin 2014, complété le 21 août 2014, et produit un nouveau rapport du docteur B._, attestant une capacité de travail de 50 % tout au plus dans une activité tenant compte de ses limitations fonctionnelles.
Par décision du 1 er septembre 2015, l'office AI a rejeté la demande de prestations.
B.
Le 5 octobre 2015, l'assuré a formé recours à l'encontre de cette décision auprès de la Cour de justice de la République et canton de Genève, Chambre des assurances sociales. Dans le cadre de l'instruction, la cour cantonale a notamment obtenu le dossier de l'ancien employeur du recourant, comprenant le jugement rendu par le Tribunal des prud'hommes genevois le 17 mars 2011, ainsi que des informations sur les motifs du licenciement, qu'il a transmises par courrier du 25 août 2016.
Par jugement du 28 novembre 2016, la juridiction cantonale a rejeté le recours et confirmé la décision de l'office AI.
C.
A._ interjette un recours en matière de droit public contre ce jugement. Il demande l'annulation du jugement du 28 novembre 2016 et conclut principalement à l'octroi d'une rente d'invalidité entière, subsidiairement au renvoi de la cause à la juridiction cantonale pour nouvelle décision.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente. Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées (cf. <ref-law>).
2.
Le litige a trait au droit du recourant à une rente de l'assurance-invalidité et porte plus particulièrement sur l'évaluation de sa capacité de travail dans une activité adaptée. Le jugement attaqué expose de manière complète les dispositions légales et les principes jurisprudentiels en la matière, de telle sorte qu'il suffit d'y renvoyer.
3.
Après avoir examiné les documents médicaux, la cour cantonale a retenu que l'expertise réalisée par la CRR, selon laquelle le recourant disposait d'une capacité de travail entière dans une activité adaptée, avait une pleine valeur probante et que les rapports du docteur B._ ne suffisaient pas à en mettre en doute les conclusions. Le rapport de l'ORIF confirmait également que l'assuré disposait d'une capacité de travail résiduelle pleinement exploitable et sans baisse de rendement, malgré ses limitations fonctionnelles. Les premiers juges ont ensuite procédé à la comparaison des revenus pertinents pour déterminer le degré d'invalidité de l'intéressé. Pour fixer le revenu sans invalidité, ils ont considéré que le recourant avait perdu son emploi pour des motifs qui n'étaient pas liés à son invalidité, ce qu'avait attesté son ancien employeur et qui ressortait également du jugement rendu par le Tribunal des prud'hommes le 17 mars 2011 dans l'action ouverte par le recourant; il était dès lors justifié de prendre en compte un salaire statistique, évalué à 72'967 fr. 50 en 2011. Comparé au salaire avec invalidité, également évalué de manière statistique, et compte tenu d'un abattement supplémentaire de 15 % dû aux limitations fonctionnelles du recourant, ce revenu conduisait à retenir un taux d'invalidité de 27 %, insuffisant pour ouvrir le droit à une rente de l'assurance-invalidité.
4.
4.1. Dans un premier grief, le recourant reproche à la juridiction cantonale d'avoir retenu que sa capacité de travail était de 100 % dans une activité adaptée sans examiner l'application de la nouvelle jurisprudence en matière de troubles somatoformes douloureux (<ref-ruling>). Celle-ci est en effet également applicable aux cas de fibromyalgie, diagnostic que son médecin traitant avait retenu dans plusieurs de ses rapports. En omettant d'instruire cet aspect du dossier, la cour cantonale aurait violé les art. 8 et 16 LPGA ainsi que le droit d'être entendu (art. 29 Cst.).
4.2. Le grief du recourant ne convainc pas. Pour retenir que l'assuré disposait d'une capacité de travail entière dans une activité adaptée, les premiers juges se sont en effet fondés sur les conclusions de l'expertise de la CRR, à laquelle ils ont accordé une pleine valeur probante, alors qu'ils ont écarté l'avis divergent du docteur B._. Dès lors que les experts en question n'avaient pas retenu le diagnostic de fibromyalgie, la cour cantonale ne devait pas envisager ensuite l'application des indicateurs posés par l'<ref-ruling>. Par ailleurs, le recourant ne discute aucunement les raisons pour lesquelles la juridiction cantonale s'est ralliée à l'avis des experts; il leur oppose seulement l'avis de son médecin traitant, sans faire valoir d'éléments médicaux objectifs concrets que les experts auraient omis d'examiner et qui justifieraient de s'écarter des conclusions de l'expertise. Il ne démontre pas de cette manière que la cour cantonale aurait fait preuve d'arbitraire dans son appréciation.
En ce qui concerne la violation du droit d'être entendu, le recourant n'explique pas en quoi le diagnostic de fibromyalgie aurait dû justifier la mise en oeuvre d'une expertise judiciaire ou l'interpellation de son médecin, voire celle des experts. La CRR s'était en effet prononcée en connaissance du diagnostic de fibromyalgie posé par le docteur B._, qu'elle a écarté, et l'avis de ce dernier était connu. Le recourant ne motive pas non plus en quoi l'expertise de la CRR aurait été insuffisante pour déterminer de manière probante son état de santé. On rappellera à cet égard que le tribunal peut renoncer à accomplir certains actes d'instruction sans que cela n'entraîne une violation du droit d'être entendu s'il est convaincu que certains faits présentent un degré de vraisemblance prépondérante et que d'autres mesures probatoires ne pourraient plus modifier cette appréciation (<ref-ruling> consid. 4.3.2 p. 469). En l'espèce, dès lors que les premiers juges ont considéré qu'ils disposaient d'une expertise pleinement probante que l'avis du médecin traitant ne remettait pas en cause, ils pouvaient sans arbitraire statuer sur le droit du recourant sans ordonner des mesures d'instruction supplémentaires.
5.
5.1. Dans un second grief, le recourant fait valoir que les premiers juges auraient fait erreur en déterminant son revenu sans invalidité sur la base de données statistiques, et non sur celle du dernier salaire qu'il avait concrètement obtenu.
5.2. En règle générale, le dernier salaire obtenu par l'assuré avant l'atteinte à la santé est effectivement déterminant pour l'évaluation du revenu sans invalidité (<ref-ruling> consid. 3.1 p. 59). La jurisprudence retient toutefois que lorsque l'assuré a perdu son emploi pour des motifs étrangers à son invalidité, on ne peut admettre qu'il aurait continué son emploi auprès du même employeur et il est alors justifié de faire application des valeurs statistiques moyennes (cf. arrêts 9C_247/2015 du 23 juin 2015 consid. 5.1; 9C_212/2015 du 9 juin 2015 consid. 5.4 et les références citées).
5.3. En l'espèce, le recourant s'en prend aux constatations de fait de la juridiction cantonale, selon lesquelles son licenciement n'était pas intervenu en raison de problèmes de santé. La cour cantonale s'est fondée sur le jugement du Tribunal des prud'hommes rendu le 17 mars 2011 dans la cause opposant le recourant et son ancien employeur, ainsi que sur les indications fournies par ce dernier (questionnaire du 15 juillet 2011) et un courrier à la cour cantonale du 25 août 2016, dans lequel il a indiqué avoir licencié l'intéressé parce qu'il avait perdu un gros contrat par sa faute, en raison de son attitude réfractaire au travail, de son agressivité et de son travail insuffisant. Elle a également relevé que le recourant n'avait pas eu d'arrêt de travail jusqu'à son congé et qu'aucune autre pièce du dossier ne mettait en évidence que les problèmes de santé rencontrés par le recourant avant le 18 juin 2008 auraient donné lieu à des critiques de l'employeur. Compte tenu de ces éléments, elle a retenu que le licenciement de l'assuré n'était vraisemblablement pas lié à son état de santé.
5.4. Le recourant se contente d'opposer à cette appréciation sa propre version des faits du dossier. Il se réfère ainsi au fait que l'ancien employeur a également indiqué que le recourant ne "convenait plus" dans le questionnaire rempli à l'attention de l'office intimé, et qu'un ancien collègue aurait confirmé la présence de problèmes de santé déjà à cette époque. En outre, il ne serait pas crédible qu'un licenciement économique ait touché le seul recourant, un employé de longue date; le fait qu'il ait contesté en justice son congé expliquerait au contraire les affirmations de son ancien employeur.
Ces arguments ne suffisent pas à remettre en cause les constatations de l'autorité cantonale. Celle-ci n'a en effet pas affirmé que le licenciement de l'assuré aurait été exclusivement dû à des motifs économiques, ce qui ne ressort pas non plus du courrier adressé par son ancien employeur le 25 août 2016, ou qu'il n'aurait aucunement souffert de problèmes de santé à cette époque; elle a en revanche retenu qu'aucun élément du dossier ne montrait que la décision de l'employeur de mettre fin au contrat de travail était due à une atteinte à la santé de l'intéressé. Le recourant échoue à démontrer l'arbitraire de cette appréciation, qui a conduit à juste titre la cour cantonale à faire application des données statistiques pour déterminer le salaire sans invalidité. Partant, le recours, mal fondé, doit être rejeté.
6.
Vu l'issue du litige, les frais judiciaires sont mis à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 21 avril 2017
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
La Greffière : Hurni