Faits :
A.
Le 10 février 2005, A._ - à l'époque entrepreneur et actionnaire de la société B._ Sàrl -, se trouvait sur un chantier pour superviser le déplacement d'une poutrelle de 650 kilos au moyen d'une grue. Comme la poutrelle était bloquée dans le sol gelé, A._ s'est muni d'une pioche pour la dégager. Il était en train d'appliquer une pression avec l'outil quand le grutier a remis un peu de tension dans le bras de la grue, ce qui a eu pour effet de décoller soudainement la poutrelle. Celle-ci est venue heurter le visage de A._. Il en est résulté un traumatisme crânio-facial (avec amnésie circonstancielle et probable perte de connaissance) ainsi que diverses fractures du massif facial, en particulier une fracture ouverte du sinus frontal, une fracture naso-orbito-ethmoïdale ainsi qu'une fracture fronto-basale. A._ a été opéré le jour même à l'Hôpital C._ à U._ (reposition des fractures et ostéosynthèse) où il est resté jusqu'au 21 février 2005. La Caisse nationale suisse d'assurance en cas d'accidents (CNA), auprès de laquelle le prénommé était assuré contre le risque d'accidents, a pris en charge le cas.
Dans les suites post-opératoires, l'assuré a présenté une diplopie post-traumatique. Le 20 septembre 2006, il a subi une opération des muscles oculo-moteurs pratiquée par le docteur D._, de l'Hôpital E._, en raison d'une parésie bilatérale post-traumatique des 4ème nerfs crâniens.
Le suivi médical des problèmes maxillo-faciaux de A._ à la sortie de l'Hôpital C._ a été assuré par le docteur F._, chirurgien ORL (oto-rhino-laryngologie), qui a procédé à une nouvelle intervention le 10 mai 2005 (correction de l'hypertelorisme, reposition des ligaments canthales et reconstruction du nez). A cause d'une respiration difficile par le nez, l'assuré a encore subi une septorhinoplastie le 5 décembre 2006. Une révision de celle-ci a été nécessaire le 26 février 2008. A l'issue d'un examen sur dossier en février 2007, le docteur G._, spécialiste ORL à la division de médecine de la CNA, a estimé qu'il n'y avait plus d'incapacité de travail du point de vue ORL à partir du 1er janvier 2007. Par lettre du 7 mars 2007, la CNA a alors communiqué à l'assuré son intention de mettre un terme au versement des indemnités journalières à cette date.
Dans un rapport du 19 juin 2007, le docteur H._, médecin traitant, a indiqué que son patient présentait, en sus de séquelles physiques, un syndrome post-traumatique avec état dépressif majeur pour lequel il était en traitement chez un psychiatre, le docteur I._, depuis le 14 novembre 2006.
Par décision du 28 février 2008, la CNA a confirmé les termes de sa lettre du 7 mars 2007. A._ a formé opposition. Après avoir demandé aux docteurs G._, ORL, J._, neurologue, K._, psychiatre, et L._, ophtalmologue, tous médecins à la division de médecine de la CNA, de se prononcer sur l'évolution de la situation de l'assuré (voir leurs rapports respectifs des 11 mai, 30 septembre, 1er octobre et 15 octobre 2009), la CNA a partiellement admis l'opposition en ce sens qu'elle a reporté la suppression des indemnités journalières au 20 juin 2007 (décision sur opposition du 20 juin 2011).
B.
B.a. Par jugement du 9 avril 2013, la Cour des assurances sociales du Tribunal cantonal fribourgeois a rejeté le recours de l'assuré dirigé contre la décision sur opposition de la CNA (du 20 juin 2011). Saisi d'un recours en matière de droit public contre ce jugement, le Tribunal fédéral l'a admis dans la mesure de sa recevabilité, et renvoyé la cause à la cour cantonale pour instruction complémentaire sous la forme d'une expertise médicale pluridisciplinaire et nouveau jugement (arrêt du 1er avril 2014; cause 8C_384/2013).
B.b. Après avoir mis en oeuvre l'expertise demandée par le Tribunal fédéral, la Cour des assurances sociales du Tribunal cantonal fribourgeois a rejeté le recours (jugement du 10 mai 2016).
C.
A._ interjette un recours en matière de droit public contre ce jugement cantonal. Il conclut à l'annulation partielle de la décision sur opposition en tant qu'elle nie son droit aux indemnités journalières et à d'autres prestations d'assurance (rente et indemnité pour atteinte à l'intégrité), et demande l'ordonnance d'une nouvelle expertise pluridisciplinaire (par l'assureur-accidents ou par la cour cantonale) ainsi que la poursuite du versement des indemnités journalières au-delà du 20 juin 2007.
La CNA conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
Comme il a été déjà dit (arrêt 8C_384/2013 consid. 1), la question de l'allocation d'une indemnité pour atteinte à l'intégrité ou d'une rente ne fait pas partie de la contestation définie par la décision sur opposition du 20 juin 2011. Elle devra faire l'objet d'une décision ultérieure. Le présent litige porte uniquement sur le point de savoir si l'intimée était fondée à mettre fin au versement des indemnités journalières dès le 20 juin 2007.
Dans la procédure de recours concernant des prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par l'état de fait constaté par la juridiction précédente (cf. art. 97 al. 2 et art. 105 al. 3 LTF).
3.
En ce qui concerne les dispositions légales et les principes jurisprudentiels applicables au cas, il suffit de renvoyer à l'arrêt précédent du 1er avril 2014 (cause 8C_384/2013).
4.
4.1. Dans cet arrêt, le Tribunal fédéral a considéré que l'instruction médicale du cas était incomplète pour pouvoir confirmer la fin des indemnités journalières. L'évaluation ORL du docteur G._, de la CNA, n'avait pas englobé les effets de l'insuffisance respiratoire et des douleurs faciales rapportés par le docteur F._. En outre, il n'était pas clair, compte tenu du diagnostic différentiel posé par le docteur I._, si les troubles présentés par l'assuré sous la forme de céphalées, d'irritabilité et de troubles de la concentration s'inscrivaient dans le cadre d'un syndrome post-commotionnel ou d'une problématique psychique indépendante. A cet égard, le Tribunal fédéral s'est également posé la question de savoir si ces symptômes avaient pu être occultés par les suites du traumatisme cranio-cérébral initial. La juridiction cantonale était donc invitée à mettre en oeuvre une expertise pluridisciplinaire intégrant un volet ORL, neurologique (y compris un examen neuropsychologique) et psychiatrique.
4.2. A la suite de cet arrêt, la juridiction cantonale a confié une expertise au Centre d'Expertise Médicale (CEMed). Y ont participé le docteur M._, spécialiste en chirurgie orale et maxillo-faciale, la doctoresse N._, spécialiste en neurologie, le docteur O._, psychiatre, et M. P._, neuropsychologue. Chacun d'eux a examiné l'assuré séparément. Le rapport d'expertise (du 7 août 2015) a ensuite été établi conjointement après discussion interdisciplinaire.
Il en ressort en substance les considérations suivantes.
Sur le plan maxillo-facial, la situation pouvait être considérée comme satisfaisante avec une réduction correcte des fractures et une évolution post-opératoire sans complication. Outre une irrégularité osseuse orbito-frontale et une déformation pyramide nasale, il subsistait encore une discrète hypoventilation de la narine à droite. Par ailleurs, l'assuré ne souffrait pas de douleurs au visage mais de céphalées. Au plan neurologique, il a été retenu, en sus de l'anosmie et des séquelles ophtalmologiques (énophtalmie modérée bilatérale, diplopie dans tout le champ du regard et limitation du regard vers le haut), des douleurs occasionnelles d'allure névralgique dans le territoire de la branche ophtalmique du nerf trijumeau droit et des céphalées. Toutes ces atteintes, en lien de causalité avec l'accident, n'entravaient toutefois pas significativement la capacité de travail de l'assuré dans son activité d'entrepreneur. Quant à la question de savoir si celui-ci présentait un tableau clinique compatible avec un traumatisme cranio-cérébral, les experts y ont répondu négativement pour les raisons suivantes. Aucune constatation dans ce sens n'était documentée dans les rapports médicaux initiaux. L'assuré s'était plaint de l'apparition de difficultés de concentration deux ans après l'accident, alors qu'en principe, même en cas de polytraumatismes, les troubles cognitifs consécutifs à des traumatismes cranio-cérébraux sont présents dès le réveil des patients. De plus, l'examen neuropsychologique effectué avait mis en évidence un ralentissement dans la plupart des tâches, un déficit en mémoire de travail ainsi qu'en mémoire épisodique verbale et en reconnaissance visuelle pure, mais pas de trouble exécutif, soit des symptômes qui ne correspondaient pas aux séquelles habituellement rencontrées en cas de traumatisme crânien. En revanche les troubles cognitifs objectivés étaient cohérents avec le diagnostic de trouble dépressif récurrent, épisode actuel léger à moyen sans syndrome somatique (F33.00 à 10) diagnostiqué par le psychiatre (le docteur O._). Selon ce médecin, ce trouble, qui empêchait l'assuré d'assumer son ancienne activité, était réactionnel à divers facteurs de stress familiaux survenus avant et après l'accident (méningite de la fille en 2004, accident de ski du fils en 2005 et cancer du sein de l'épouse en 2007). Ces facteurs ayant joué un rôle prédominant dans l'évolution de l'état psychique de l'intéressé à partir de 2006, il n'y avait pas de lien de causalité naturelle entre l'affection psychique et l'accident, ce d'autant que l'assuré en parlait comme d'un événement "banal".
4.3. En l'occurrence, les juges cantonaux ont constaté que l'expertise répondait aux questions posées par l'arrêt fédéral. Ils en ont conclu que l'évaluation précédente des médecins de la CNA, selon laquelle les séquelles physiques découlant de l'accident n'engendraient pas d'incapacité de travail au delà du 20 juin 2007 et ne nécessitaient pas non plus de traitement médical, pouvait être confirmée. Par ailleurs, ils ont retenu que les troubles cognitifs objectivés n'étaient pas liés à un traumatisme cranio-cérébral mais devaient être mis sur le compte d'une atteinte psychique indépendante sous la forme d'un état dépressif. Pour savoir si ces troubles entraînaient une obligation de prester de la part de l'assureur-accidents, les juges cantonaux se sont donc référés à la jurisprudence sur les troubles psychiques consécutifs à un accident. Sans le dire explicitement, ils ont laissé ouverte la question de la causalité naturelle entre les troubles cognitifs et l'état dépressif, d'une part, et l'accident, d'autre part, et procédé à l'examen du caractère adéquat de ceux-ci. A ce propos, ils ont classé l'accident dans la catégorie des accidents de gravité moyenne stricto sensu et nié la réalisation des critères objectifs posés par la jurisprudence pour faire admettre l'existence d'une relation de causalité adéquate, ce qui les a conduit à rejeter le recours.
4.4. Pour l'essentiel, le recourant critique la valeur probante de l'expertise du CEMed, faisant valoir que celle-ci contient des contradictions internes qui justifient que l'on s'en écarte et que l'on ordonne une nouvelle expertise. Ses critiques seront reprises ci-dessous (consid. 5.2).
5.
5.1. En principe, le juge ne s'écarte pas sans motifs impérieux des conclusions d'une expertise médicale judiciaire, la tâche de l'expert étant précisément de mettre ses connaissances spéciales à la disposition de la justice afin de l'éclairer sur les aspects médicaux d'un état de fait donné (<ref-ruling> consid. 4.4 p. 469 et la référence). Selon la jurisprudence, peut constituer une raison de s'écarter d'une expertise judiciaire le fait que celle-ci contient des contradictions, ou qu'une surexpertise ordonnée par le tribunal en infirme les conclusions de manière convaincante. En outre, lorsque d'autres spécialistes émettent des opinions contraires aptes à mettre sérieusement en doute la pertinence des déductions de l'expert, on ne peut exclure, selon les cas, une interprétation divergente des conclusions de ce dernier par le juge ou, au besoin, une instruction complémentaire sous la forme d'une nouvelle expertise médicale (<ref-ruling> consid. 3b/aa et les références).
5.2. En l'espèce, le recourant ne peut être suivi lorsqu'il affirme que l'expertise judiciaire n'est, de manière générale, ni fiable ni convaincante parce que les experts n'auraient pas tenu compte de l'importance des forces générées par l'accident qu'il a subi. Ceux-ci disposaient du dossier médical de la CNA, et leur description de l'accident et des atteintes qui en sont résulté correspond aux pièces qu'il contient. Aucun d'entre eux n'a au demeurant exprimé l'opinion qu'il s'était agi d'un accident "banal". Ce mot a été relevé dans l'expertise par le psychiatre en considération du fait que c'est l'assuré lui-même qui l'avait utilisé. Quant aux reproches formulés par le recourant contre le compte-rendu d'examen neuropsychologique, ils ne sont pas de nature à mettre en doute le caractère probant de celui-ci. En effet, ce n'est pas parce que la neuropsychologue a relevé qu'une épreuve du test évaluant les praxies et les fonctions exécutives était "déficitaire" ou avait été exécutée lentement par l'assuré, que ces constatations se trouvent en contradiction avec les conclusions posées selon lesquelles ces fonctions cognitives "sont en ordre". La neuropsychologie a émis là son interprétation de spécialiste à partir des résultats de l'ensemble des épreuves effectuées laquelle ne saurait être invalidée par la seule mise en exergue, dans le recours, de certaines observations isolées de leur contexte. Ce faisant, le recourant ne fait que substituer sa propre appréciation de sa situation médicale à celle de la neuropsychologue. Il en va de même lorsque celui-ci tente de contester les conclusions des experts selon lesquelles les troubles cognitifs constatés ne sont pas compatibles avec un traumatisme cranio-cérébral - qui n'a pas été retenu - mais avec un trouble dépressif. On relèvera que leur avis est étayé par des arguments médicaux dont on ne voit pas de motif de contester la pertinence.
Cela étant, il y a tout de même deux aspects traités par les experts sur lesquels on peut émettre des réserves même si celles-ci ne justifient pas de remettre en cause l'expertise dans son ensemble, comme on le verra ci-après.
Il s'agit, d'une part, des répercussions des séquelles ophtalmologiques de l'assuré sur sa capacité de travail. Alors que la Cour de céans avait tranché la question dans son arrêt précédent (voir le consid. 6.1 de l'arrêt du 1er avril 2014), les experts ont néanmoins demandé une nouvelle évaluation de la situation à l'Hôpital E._. Dans le rapport y relatif, qui est annexé à l'expertise judiciaire, les docteurs Q._ et R._ ont rappelé que dans les suites immédiates de l'accident, l'assuré avait récupéré une vision binoculaire simple dans tout le champ du regard binoculaire. En revanche, lors du contrôle du 6 mai 2015, il n'était plus possible de trouver une zone du regard permettant une vision binoculaire simple. Par ailleurs, un essai de correction de la diplopie par prismes s'était révélé infructueux. Les médecins précités en ont inféré la possibilité d'une rupture centrale de la fusion secondaire au traumatisme initial. Or ces constatations mettent en évidence une aggravation de l'atteinte depuis le prononcé de l'arrêt fédéral. Bien que les docteurs Q._ et R._ aient considéré que les déviations oculaires résultant de cette situation étaient encore modérées et qu'ils ne se soient pas prononcés sur la capacité de travail de l'assuré, ils ont néanmoins évoqué des difficultés accrues pour la vision de près (qui engendre fatigue oculaire et céphalées), et retenu que l'assuré ne pouvait plus conduire de véhicule automobile. Au vu de ces observations, on peut penser que les répercussions de la diplopie sur l'activité d'entrepreneur sont plus importantes que ce qui avait été retenu précédemment par le Tribunal fédéral. Toutefois, les experts, tout en ne retenant aucune incapacité de travail sous cet angle, ne se sont pas vraiment expliqués à ce sujet, comme l'a relevé à juste titre le recourant. Dans la mesure cependant où le rapport de l'Hôpital E._ concerne un état de fait postérieur à la date déterminante de la décision litigieuse, il n'est pas décisif pour l'issue de la présente procédure. Il pourrait le cas échéant fonder l'annonce d'une rechute de l'accident (cf. <ref-law> [RS 832.202]).
L'autre réserve concerne la constatation, faite par le docteur O._, de l'absence d'un lien de causalité naturelle entre le trouble dépressif qu'il a diagnostiqué chez l'assuré et l'accident du 10 février 2005. On rappellera qu'il y a un lien de causalité naturelle entre l'événement dommageable de caractère accidentel et l'atteinte à la santé lorsqu'il y a lieu d'admettre que, sans l'événement accidentel, le dommage ne se serait pas produit du tout, ou qu'il ne serait pas survenu de la même manière. Il n'est pas nécessaire que l'accident soit la cause unique ou immédiate de l'atteinte à la santé; il faut et il suffit que l'événement dommageable, associé éventuellement à d'autres facteurs, ait provoqué l'atteinte à la santé physique ou psychique de l'assuré, c'est-à-dire qu'il se présente comme la condition sine qua non de celle-ci (<ref-ruling> consid. 3.1 p. 181). Or on peine à comprendre le cheminement qui a conduit le docteur O._ à retenir que l'assuré aurait présenté à un moment ou un autre une symptomatologie dépressive même sans la survenue de l'accident du 10 février 2005, alors qu'il a relevé que le "contenu de la pensée [de l'intéressé] [était] fixé sur sa culpabilité d'avoir provoqué un accident par sa négligence", et qu'il a qualifié de "prédominant" ou d'"important" le rôle joué par les facteurs externes (dont deux sont tout de même antérieurs dans le temps à l'accident et n'ont pas eu d'incidence sur l'aptitude de l'assuré à travailler), ce qui ne suffit pas à établir que ces facteurs puissent être tenus pour la cause exclusive de cette atteinte psychique. Les juges cantonaux ne s'y sont pas trompés puisqu'ils ont procédé à l'examen de la causalité adéquate - question qui relève du droit et non du fait - en laissant ouverte la problématique de la causalité naturelle, étant précisé que la jurisprudence admet ce procédé dans les cas où le lien de causalité ne peut de toute façon pas être qualifié d'adéquat (<ref-ruling> consid. 5.1 p. 472), ce à quoi ils ont abouti en l'espèce.
En résumé, il faut retenir les juges cantonaux étaient fondés à s'en tenir à l'expertise en ce qui concerne la situation médicale du recourant jusqu'à la date de la décision litigieuse. Les conséquences qu'ils en ont tirées sur le droit aux indemnités journalières du recourant s'agissant des séquelles physiques de l'accident ne sont pas critiquables. Par ailleurs, vu que le mémoire de recours ne soulève aucune critique à l'encontre de la manière dont la juridiction cantonale a tranché la question de la causalité adéquate des troubles psychiques existants, il n'y a pas lieu d'examiner ce point, faute de grief (<ref-law>).
6.
Eu égard à ce qui précède, le recours doit être rejeté en tant qu'il est recevable.
Le recourant qui succombe, doit supporter le frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Dans la mesure où il est recevable, le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal fribourgeois et à l'Office fédéral de la santé publique.
Lucerne, le 19 avril 2017
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : von Zwehl