Faits :
A.
A._ travaillait comme ouvrier de chantier au service de l'entreprise B._ SA. A ce titre, il était assuré contre le risque d'accidents auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Le 8 avril 2011, alors qu'il se trouvait sur un pont de travail en train de démonter des panneaux de coffrage, une pièce métallique du support de l'échafaudage s'est brisée entraînant A._ dans une chute de plusieurs mètres; après l'impact au sol, qui était en pente, il a encore glissé quelques mètres plus bas le long d'un mur en construction; plusieurs planches de coffrage lui sont tombées dessus. Il a été transporté à l'Hôpital C._ où un CT-scan Total body a mis en évidence une fracture du manubrium sternal. Après trois jours de surveillance sans complication cardiologique ou neurologique, A._ est rentré à domicile. La CNA a pris en charge le cas.
L'assuré a été suivi par son médecin traitant, le docteur D._, qui, en sus de la fracture du sternum, a posé le diagnostic de traumatisme cranio-cérébral (TCC) léger avec perte de connaissance et contusions multiples (rapport médical intermédiaire du 18 juin 2011). Une tentative de reprise du travail le 23 août 2011 s'est soldée par un échec. Dans un rapport du 20 septembre 2011, le docteur E._, médecin généraliste, a mentionné une évolution favorable de la fracture au niveau radiologique (consolidation); toutefois, l'assuré se plaignait encore de douleurs thoraciques, et manifestait des symptômes dépressifs accompagnés de cauchemars depuis juillet 2011.
A._ a séjourné du 10 au 13 octobre 2011 à la Clinique F._ pour une évaluation interdisciplinaire (somatique et psychiatrique). Selon le rapport de synthèse du 14 octobre 2011, la fracture sternale avec contusions multiples n'avait pas laissé de séquelles physiques objectives; l'IRM cérébrale réalisée durant ce séjour ne mettait en évidence aucune lésion intraparenchymateuse, ni d'hémorragie sous durale ou de lésion traumatique du cadre osseux; au plan psychique, l'assuré présentait un épisode dépressif d'intensité moyenne réactionnel à des décès dans son entourage qui s'était aggravé depuis l'accident.
Par décision du 2 décembre 2011, confirmée sur opposition le 26 janvier 2012, la CNA a mis fin à ses prestations avec effet au 30 novembre 2011. Elle a considéré que A._ ne présentait plus de séquelles organiques nécessitant un traitement et que les troubles psychiques de celui-ci ne se trouvaient pas en relation de causalité adéquate avec l'événement assuré.
B.
L'assuré a déféré la décision sur opposition de la CNA à la Cour des assurances sociales du Tribunal cantonal du Valais.
En cours de procédure, il a produit divers documents médicaux: un rapport du docteur G._ (du 15 mai 2012), médecin traitant psychiatre, selon lequel il présente un état de stress post-traumatique; un compte-rendu d'examen IRM du genou gauche réalisé en avril 2012 et concluant à une déchirure de la corne postérieure du ménisque interne; un rapport émanant du docteur I._ (du 27 avril 2012), spécialiste en maladies rhumatismales, qui a posé les diagnostics de trouble somatoforme douloureux post-traumatique, de status après TCC léger et fracture sternale le 8 avril 2011, ainsi que d'un état dépressif. Dans sa réponse, la CNA a joint une appréciation médicale du docteur H._ (du 12 juin 2012), spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur, de sa division de médecine des accidents.
Par jugement du 14 août 2013, le tribunal cantonal a rejeté le recours.
C.
A._ interjette un recours en matière de droit public. Sous suite de frais et dépens, il conclut à l'annulation du jugement cantonal et au renvoi de la cause à la juridiction cantonale pour complément d'instruction et nouvelle décision.
La CNA conclut au rejet du recours. L'Office fédéral de la santé publique (OFSP) a renoncé à se déterminer.

Considérant en droit :
1.
1.1. Est litigieux le maintien éventuel du droit du recourant à des prestations d'assurance au-delà du 30 novembre 2011 pour les troubles et l'incapacité de travail persistant après cette date. Vu l'objet du litige, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente (art. 97 al. 2 et 105 al. 3 LTF).
1.2. Aux termes de l'<ref-law>, aucun fait nouveau ni aucune preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente. Le dernier rapport du docteur G._ (du 9 juillet 2013) produit par le recourant en annexe de son recours ne peut dès lors pas être pris en considération par la Cour de céans.
2.
Le jugement entrepris expose correctement les dispositions légales et principes jurisprudentiels applicables, en particulier les critères déterminants en matière de causalité adéquate en cas de troubles psychiques consécutifs à un accident (<ref-ruling> consid. 6 p. 138 ss et 403 consid. 5 p. 407 ss). Il peut y être renvoyé.
3.
Le recourant ne remet pas en cause le résultat de l'appréciation des preuves à laquelle ont procédé les juges cantonaux sur les conséquences physiques découlant de son accident (à savoir l'absence de troubles résiduels invalidants d'origine somatique). Il ne critique pas non plus l'application à son cas des critères déterminants tirés de la jurisprudence en matière de troubles psychiques consécutifs à un accident pour l'examen du caractère adéquat de son affection psychique. En revanche, il leur fait grief d'avoir qualifié la chute qu'il a subie d'accident de gravité moyenne stricto sensu, tout en renonçant à une instruction complémentaire au sujet des circonstances de l'événement accidentel, alors que celles-ci étaient décisives pour se prononcer sur la causalité adéquate. Il fait remarquer que l'Office de l'assurance-invalidité du canton de Vaud lui avait reconnu une incapacité de gain entière et que son médecin psychiatre évoquait dans son cas une "expérience de catastrophe". En effet, il s'était "retrouvé enseveli sous les planches, commotionné et ayant perdu connaissance". Il apparaissait donc d'ores et déjà manifeste que le critère du caractère très impressionnant de l'accident ainsi qu'un certain nombre d'autres critères déterminants étaient réunis.
4.
4.1. On rappellera que pour procéder à la classification de l'accident, il convient non pas de s'attacher à la manière dont l'assuré a ressenti et assumé le choc traumatique, mais bien plutôt de se fonder, d'un point de vue objectif, sur l'événement accidentel lui-même. Sont déterminantes les forces générées par l'accident et non pas les conséquences qui en résultent (arrêts 8C_398/2012 du 6 novembre 2012 consid. 5.2 in SVR 2013 UV n° 3 p. 8 et 8C_435/2011 du 13 février 2012 consid. 4.2 in SVR 2012 UV n° 23 p. 84). D'après la casuistique en matière de chutes d'une certaine hauteur, ont été considérées comme faisant partie de la limite supérieure de la catégorie des accidents de gravité moyenne, les chutes qui se sont produites d'une hauteur entre 5 et 8 mètres et qui ont entraîné des lésions osseuses relativement sévères (voir les arrêts publiés à la RAMA 1999 n° U 330 p. 122 consid. 4b/bb et RAMA 1998 n° U 307 p. 448 consid. 3a).
4.2. En l'espèce, il n'y a pas eu d'enquête sur place ni d'audition de témoins après la survenance de l'accident. Dans la déclaration d'accident de l'employeur, il est décrit une chute d'une hauteur de 3 mètres. Dans le rapport médical LAA de l'hôpital C._ (du 28 juin 2011), il est question d'une chute de 4 mètres ayant occasionné une fracture du manubrium sternal sans traumatisme crânien, ni perte de connaissance, alors que le docteur D._, médecin traitant, a fait état d'un traumatisme crânien avec perte de connaissance, d'une fracture du sternum et de contusions multiples à la suite d'une chute de 5 à 6 mètres. Quant aux médecins de la Clinique F._, ils ont confirmé ces diagnostics et évoqué une chute de 3 à 4 mètres. En procédure cantonale, le recourant a produit diverses photographies dont on peut penser qu'elles ont été prises le jour de l'accident et sur lesquelles la position de l'échafaudage d'où il était tombé par rapport à la façade du bâtiment est désignée d'un trait rouge. Dans son recours fédéral, il évalue la hauteur de sa chute environ 4,5 mètres (soit un peu plus qu'un étage).
4.3. Eu égard aux photographies versées au dossier, cette estimation du recourant semble plausible. Cela étant, même si une incertitude demeure quant à la hauteur effective de laquelle il a chuté, on ne voit pas qu'une instruction complémentaire sur ce point soit nécessaire. D'une part, on ne voit pas que l'on se trouve en présence d'un accident grave. D'autre part, même s'il fallait admettre que l'événement du 8 avril 2011 se situe à la limite supérieure de la catégorie des accidents moyens (compte tenu du fait qu'on peut tenir pour vraisemblable que l'assuré a chuté d'une hauteur située entre 4 et 5 mètres et qu'au vu des éléments médicaux au dossier, il a subi une fracture du sternum, un TCC léger et des contusions), l'issue du litige ne s'en trouverait pas modifiée comme on le verra ci-après.
5.
5.1. Lorsque l'on se trouve en présence d'un accident à la limite de la catégorie des accidents graves, il n'est pas nécessaire que soient réunis dans chaque cas tous les critères objectifs posés par la jurisprudence, un seul d'entre eux peut être suffisant pour faire admettre l'existence d'une relation de causalité adéquate (<ref-ruling> consid. 6a).
5.2. Les premiers juges ont retenu qu'aucun des critères pertinents n'était rempli. En particulier, ils ont considéré qu'il n'y avait pas eu de circonstances concomitantes particulièrement dramatiques et que l'accident ne revêtait pas un caractère particulièrement impressionnant. A cet égard, ils ont relevé que l'assuré avait fait une chute de 3 à 4 mètres dans une fosse, qu'il avait perdu connaissance après l'impact au sol, que sa tête avait dû heurter le rebord du mur en construction vu que son casque était fissuré de côté, et qu'il avait entraîné dans sa chute des panneaux de décoffrage qui, en tombant, lui avaient occasionné des plaies superficielles au visage; ses collègues de travail s'étaient immédiatement porté à son secours; par ailleurs, l'assuré avait déclaré ne pas avoir éprouvé de sentiment de peur pendant sa chute.
5.3. La raison pour laquelle la jurisprudence a adopté le critère des circonstances concomitantes particulièrement dramatiques ou du caractère particulièrement impressionnant de l'accident repose sur l'idée que de telles circonstances sont propres à déclencher chez la personne qui les vit des processus psychiques pouvant conduire ultérieurement au développement d'une affection psychique. L'examen se fait sur la base d'une appréciation objective des circonstances de l'espèce. On ajoutera que la survenance d'un accident de gravité moyenne présente toujours un certain caractère impressionnant pour la personne qui en est victime, ce qui ne suffit pas en soi à conduire à l'admission de ce critère. Par ailleurs, il convient d'accorder à ce cri-tère une portée moins décisive lorsque la personne ne se souvient pas de l'accident que si elle en garde des souvenirs clairs (SVR 2011 UV n° 10 p. 35 consid. 4.3.2, arrêt 8C_584/2010 du 11 mars 2011; voir également les arrêts 8C_434/2012 du 21 novembre 2012 consid. 7.2.3 et 8C_624/2010 du 3 décembre 2010 consid. 4.2.1).
5.4. En l'occurrence, la circonstance que des planches de coffrage sont tombées sur le recourant à la suite de sa chute est certes susceptible de conférer à l'événement un caractère plus impressionnant que la seule chute au sol d'une hauteur de 4,5 mètres. A ce propos, le Tribunal fédéral a par exemple nié que la condition du caractère impressionnant de l'accident fût remplie dans le cas d'un travailleur qui était tombé d'un élévateur d'une hauteur de 5,6 mètres (arrêt 8C_807/2008 du 15 juin 2009) ou d'un travailleur qui avait chuté d'une échelle d'une hauteur d'environ 4,5 mètres dans une fouille (arrêt du 27 décembre 2005, U 144/05; voir aussi l'arrêt du 30 novembre 2005, U 21/06 consid. 4.5). Cela étant, le recourant n'a pas été enseveli sous un amas de planches de coffrage comme il le dit (il s'agit de quelques planches), et ne les a pas vues tomber sur lui (il avait perdu connaissance), ses souvenirs de l'accident remontant au moment où il a été secouru par ses collègues (voir la page 3 du rapport de la Clinique F._, sous le chapitre "Données fournies par le patient"). Il se justifie par conséquent de relativiser l'intensité du caractère impressionnant que le recourant attache à cet élément d'un point de vue rétrospectif. A cet égard et par comparaison, le Tribunal fédéral a admis ce critère dans le cas d'un assuré qui, lors de travaux de démolition de boxes de garages, s'est trouvé pressé contre une benne de déchets par un pan de mur en plâtre s'écroulant sur lui tandis que le toit menaçait également de s'effondrer, et qui a subi plusieurs fractures à la suite de cet événement nécessitant une hospitalisation de plusieurs jours (arrêt du 10 juillet 2000, U 89/99). Or, les éléments qui rendent le déroulement de l'accident précité particulièrement impressionnant ne se retrouvent pas dans celui dont a été victime le recourant. Les premiers juges étaient dès lors fondés à nier ce critère.
En ce qui concerne les autres critères, on peut renvoyer aux considérants convaincants du jugement attaqué, la motivation du recourant étant ici clairement insuffisante au regard des exigences de l'<ref-law>.
6.
Vu ce qui précède, le jugement entrepris n'est pas critiquable et le recours se révèle mal fondé.
7.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du Valais et à l'Office fédéral de la santé publique.
Lucerne, le 3 juillet 2014
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente : La Greffière :
Leuzinger von Zwehl