Faits : A. A._, titulaire d'un certificat de capacité de mécanicien deux roues, travaillait en qualité de monteur pour B._ SA. Le 28 mai 2011, il a subi un traumatisme crânio-cérébral sévère à la suite d'un accident de moto. Le cas a été pris en charge par son assurance-accidents, la Caisse nationale suisse d'assurance en cas d'accidents (ci-après: la CNA). Alléguant souffrir des séquelles de cet événement, il a déposé une demande de prestations auprès de l'Office AI du canton de Fribourg (ci-après: l'office AI) le 25 juillet 2011. L'office AI a mis l'assuré au bénéfice d'une mesure de reclassement professionnel, de juillet à décembre 2012, auprès de son employeur, à un taux de 80 % (communication du 20 juin 2012). La mesure a été interrompue en août 2012 et les rapports de travail ont pris fin au 31 décembre 2012. L'office AI a alors mis en oeuvre une préparation à la formation auprès du Centre d'intégration et de formation professionnelle (ORIF), puis un reclassement professionnel comme conseiller de vente auprès de C._ SA, de janvier à juin 2013 (communications des 4 septembre 2012, 9 janvier et 19 avril 2013). La mesure a été interrompue en mai 2013. Dès le mois de juin suivant, A._ a annoncé travailler de manière occupationnelle dans le garage de son père à un taux de 50 à 60 % (service clientèle, tâches administratives). L'office AI l'a soumis à un stage d'évaluation professionnelle comme employé administratif à partir du mois de mars 2014 (communication du 27 février 2014), à un taux progressif de 50 à 100 % auprès du garage de son père. Selon le rapport de synthèse de l'ORIF, l'assuré avait un rendement de 50 à 60 % de son taux de présence de 70 % (rapport du 1 er octobre 2014). L'office AI a par ailleurs fait réaliser une expertise auprès du docteur D._, spécialiste en neurologie, qui a requis une évaluation neuropsychologique auprès de E._, psychologue spécialiste en neuropsychologie FSP. Le médecin a fait état d'un status après accident du 28 mai 2011 ayant entraîné un traumatisme crânio-cérébral sévère et un status post-commotionne/contusionnel avec troubles dysexécutifs et comportementaux. Il a conclu à une capacité de travail de 50 % dans une activité adaptée, tout en évoquant une capacité médico-théorique plus élevée, mais pas envisageable pratiquement (rapport du 1 er avril 2015 et évaluation neuropsychologique du 27 mars 2015). Malgré les objections de A._ du 3 juillet 2015 au projet de décision du 9 juin 2015, l'office AI a rejeté la demande par décision du 5 novembre 2015. Il a considéré que la capacité de travail était entière avec une diminution de rendement de 25 % dans une activité adaptée aux limitations fonctionnelles de l'assuré. B. Par jugement du 20 janvier 2017, le Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, a rejeté le recours formé par A._ contre cette décision. C. L'assuré interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à l'octroi de trois quarts de rente et au renvoi de la cause à l'office AI pour nouvelle décision dans le sens des considérants, notamment pour fixer le montant de la rente.