Faits :
A.
A._, titulaire d'un certificat de capacité de mécanicien deux roues, travaillait en qualité de monteur pour B._ SA. Le 28 mai 2011, il a subi un traumatisme crânio-cérébral sévère à la suite d'un accident de moto. Le cas a été pris en charge par son assurance-accidents, la Caisse nationale suisse d'assurance en cas d'accidents (ci-après: la CNA). Alléguant souffrir des séquelles de cet événement, il a déposé une demande de prestations auprès de l'Office AI du canton de Fribourg (ci-après: l'office AI) le 25 juillet 2011.
L'office AI a mis l'assuré au bénéfice d'une mesure de reclassement professionnel, de juillet à décembre 2012, auprès de son employeur, à un taux de 80 % (communication du 20 juin 2012). La mesure a été interrompue en août 2012 et les rapports de travail ont pris fin au 31 décembre 2012. L'office AI a alors mis en oeuvre une préparation à la formation auprès du Centre d'intégration et de formation professionnelle (ORIF), puis un reclassement professionnel comme conseiller de vente auprès de C._ SA, de janvier à juin 2013 (communications des 4 septembre 2012, 9 janvier et 19 avril 2013). La mesure a été interrompue en mai 2013. Dès le mois de juin suivant, A._ a annoncé travailler de manière occupationnelle dans le garage de son père à un taux de 50 à 60 % (service clientèle, tâches administratives). L'office AI l'a soumis à un stage d'évaluation professionnelle comme employé administratif à partir du mois de mars 2014 (communication du 27 février 2014), à un taux progressif de 50 à 100 % auprès du garage de son père. Selon le rapport de synthèse de l'ORIF, l'assuré avait un rendement de 50 à 60 % de son taux de présence de 70 % (rapport du 1 er octobre 2014). L'office AI a par ailleurs fait réaliser une expertise auprès du docteur D._, spécialiste en neurologie, qui a requis une évaluation neuropsychologique auprès de E._, psychologue spécialiste en neuropsychologie FSP. Le médecin a fait état d'un status après accident du 28 mai 2011 ayant entraîné un traumatisme crânio-cérébral sévère et un status post-commotionne/contusionnel avec troubles dysexécutifs et comportementaux. Il a conclu à une capacité de travail de 50 % dans une activité adaptée, tout en évoquant une capacité médico-théorique plus élevée, mais pas envisageable pratiquement (rapport du 1 er avril 2015 et évaluation neuropsychologique du 27 mars 2015).
Malgré les objections de A._ du 3 juillet 2015 au projet de décision du 9 juin 2015, l'office AI a rejeté la demande par décision du 5 novembre 2015. Il a considéré que la capacité de travail était entière avec une diminution de rendement de 25 % dans une activité adaptée aux limitations fonctionnelles de l'assuré.
B.
Par jugement du 20 janvier 2017, le Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, a rejeté le recours formé par A._ contre cette décision.
C.
L'assuré interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à l'octroi de trois quarts de rente et au renvoi de la cause à l'office AI pour nouvelle décision dans le sens des considérants, notamment pour fixer le montant de la rente.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par l'autorité précédente (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées, sinon un état de fait divergent ne peut être pris en considération (<ref-law>).
2.
Le litige porte sur le droit du recourant à une rente de l'assurance-invalidité, en particulier sur l'évaluation de sa capacité de travail. Le jugement entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels applicables. Il suffit d'y renvoyer.
3.
A l'instar de l'office intimé, la juridiction cantonale a nié le droit de l'assuré à des prestations de l'assurance-invalidité, considérant que les troubles l'affectant lui permettaient de mettre en valeur une capacité de travail suffisante pour limiter la perte de gain à un taux inférieur à 40 %. Elle s'est écartée en partie de la conclusion de l'expert D._, fondée notamment sur l'avis de la psychologue E._, selon lequel la capacité résiduelle de travail était de 50 %, au motif que l'expert s'était référé à des facteurs étrangers à l'invalidité (avant tout le refus du recourant d'effectuer une activité autre que dans la mécanique, rendant une éventuelle réadaptation difficile). Constatant en revanche que, d'après l'expert, sans tenir compte du refus de l'assuré, l'activité exercée au sein du garage familial était adaptée pour un taux "de 70 à 80 %", les premiers juges ont retenu une capacité résiduelle de travail de 75 %. Ils ont ainsi conclu à un taux d'invalidité de 32 %, inférieur au taux de 40 % ouvrant le droit à une rente d'invalidité.
4.
4.1. Invoquant une violation du droit fédéral, le recourant fait grief à la juridiction cantonale d'avoir nié son droit à une rente d'invalidité. Il soutient que les facteurs retenus par l'expert D._ (rapport du 1 er avril 2015) n'étaient pas étrangers à la notion juridique de l'invalidité. Il mentionne également l'avis du docteur F._, spécialiste en médecine physique et réhabilitation et en rhumatologie (rapport du 25 novembre 2014) ainsi que celui de la psychologue E._ (rapport du 27 mars 2015), qui ont conclu, comme l'expert, à une capacité résiduelle de travail de 50 %.
4.2. Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de la personne assurée et l'exigibilité - pour autant qu'elles ne soient pas fondées sur l'expérience générale de la vie - relèvent d'une question de fait et ne peuvent donc être contrôlées par le Tribunal fédéral que sous un angle restreint (<ref-ruling> consid. 3.2 p. 398; consid. 1 supra). On rappellera, en particulier, qu'il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (<ref-ruling> consid. 2.2 p. 72; <ref-ruling> consid. 6.1 p. 205). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 3.4 p. 53).
4.3. En l'occurrence, les premiers juges ont exposé de manière circonstanciée les raisons pour lesquelles ils ont renoncé à suivre les conclusions de l'expert D._ sur le taux de capacité de travail de 50 % et suivi son évaluation quant à la capacité résiduelle de travail "médico-théorique" de 75 %. Selon eux, si l'expert a conclu à une capacité de travail de 50 % dans une activité adaptée, en l'occurrence celle exercée au sein du garage du père de l'assuré, il a également mentionné que d'autres activités étaient théoriquement exigibles avec un taux de capacité de travail médico-théorique de 70 à 80 % (plein temps avec perte de rendement de 20 à 30 %); il a cependant expliqué que la possibilité d'améliorer la capacité de travail par une adaptation du poste occupé précédemment n'était concrètement pas envisageable en raison de l'opposition de l'assuré (échec des tentatives de reprise d'emploi ou de reclassement pour divers motifs, notamment des facteurs neuropsychologiques et des troubles comportementaux mais aussi l'idée fixe de l'assuré à retrouver une activité liée à la mécanique). Or cet élément ne relevait manifestement pas d'un diagnostic médical et n'entrait dès lors pas en considération pour évaluer la capacité résiduelle de travail et calculer le taux d'invalidité. Le caractère irréaliste des possibilités de travail devait en effet découler de l'atteinte à la santé, puisqu'une telle atteinte est indispensable à la reconnaissance d'une invalidité (cf. art. 7 et 8 LPGA).
Ce principe ne semble pas être contesté par le recourant. Il allègue que ce n'est pas le manque de volonté qui l'a empêché de se soumettre à des mesures de réadaptation mais son état de santé (problèmes de comportement engendrés par le traumatisme crânio-cérébral subi le 28 mai 2011). Par cette argumentation, il se limite toutefois à reprendre une partie des conclusions de l'expert sans exposer en quoi l'appréciation de l'ensemble de celles-ci telle qu'effectuée par le tribunal cantonal serait arbitraire. Il ne suffit pas d'affirmer à cet égard que l'expert aurait voulu dire que tant que ses problèmes de comportement subsisteraient, seule une activité à 50 % est possible, puisque le docteur D._ a fait état d'une capacité de travail plus élevée dont la mise en valeur était en partie compromise par la personnalité de l'assuré, soit son refus d'effectuer une activité hors du domaine de la mécanique (expertise du 1 er avril 2015, p. 31 s.). Dès lors, si le médecin a mis en évidence des troubles neuropsychologiques et comportementaux liés à une atteinte à la santé, il a cependant nuancé ses conclusions en raison d'un facteur ne relevant pas de celle-ci, en admettant une capacité de travail théorique de 70 à 80 %. On ne peut, en conséquence, reprocher aux premiers juges d'avoir fait preuve d'arbitraire en déduisant du rapport d'expertise du 1 er avril 2015 une capacité résiduelle de travail de 75 %. Le seul fait qu'une autre solution aurait été concevable ne suffit pas (consid. 4.2 supra). Il n'en va pas différemment au regard de l'appréciation du docteur F._, citée par le recourant; celle-ci est antérieure à l'expertise mise en oeuvre par l'intimé et le médecin se prononce au regard uniquement de l'activité concrètement exercée par l'assuré dans le garage automobile.
4.4. Le recourant ne saurait être suivi non plus en tant qu'il soutient qu'il est choquant que l'office intimé ait retenu un taux d'invalidité de 32 % (décision du 5 novembre 2015) alors que l'assurance-accidents a conclu à un taux de 63 % (décision du 27 novembre 2015). En effet, selon la jurisprudence relative au principe d'uniformité de la notion d'invalidité dans l'assurance sociale, l'évaluation de l'invalidité par les organes de l'assurance-accidents n'a pas de force contraignante pour l'assurance-invalidité (<ref-ruling>). Au demeurant, au moment où l'intimé a rendu sa décision, l'assurance-accidents n'avait pas encore rendu la sienne, de sorte qu'il n'avait pas à se référer à un éventuel calcul déjà existant.
5.
Au vu de ce qui précède, le recours est mal fondé.
6.
Vu l'issue du litige, les frais judiciaires sont mis à la charge du recourant (art. 66 al. 1 première phrase LTF). Ce dernier a cependant déposé une demande d'assistance judiciaire visant à la dispense des frais judiciaires et à la désignation d'un avocat d'office. Dès lors que les conditions d'octroi en sont réalisées (<ref-law>), l'assistance judiciaire lui est accordée.
L'assuré est rendu attentif au fait qu'il devra rembourser la Caisse du Tribunal fédéral s'il retrouve ultérieurement une situation financière lui permettant de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
L'assistance judiciaire est accordée et M e Benoît Sansonnens est désigné comme avocat d'office du recourant.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la Caisse du Tribunal fédéral.
4.
Une indemnité de 2'800 fr. est allouée à l'avocat du recourant à titre d'honoraires à payer par la Caisse du Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 8août 2017
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
La Greffière : Flury