Faits :
A.
A._ était employé comme maçon par l'entreprise de placement en personnel B._ SA. A ce titre, il était assuré contre le risque d'accidents auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Le 7 septembre 2011, il est tombé d'une échelle d'une hauteur d'environ trois mètres alors qu'il était en train de faire de l'étayage. Cette chute lui a occasionné de multiples fractures (aile iliaque droite in situ, branche ilio-pubienne haute à droite, aileron sacrée au niveau S1 in situ et tête radiale droite) ainsi qu'une contusion de l'hémithorax droit et de l'épaule droite, lesquelles ont été traitées conservativement à l'Hôpital C._ où l'assuré a séjourné du 7 au 13 septembre 2011. Le cas a été pris en charge par la CNA.
Des troubles mictionnels obstructifs sur double sténose urétrale sont apparus dans les suites de la fracture du bassin, lesquels ont fait l'objet d'une intervention chirurgicale (urétrotomie interne avec pose de sonde trans-urétrale) le 18 novembre 2011. Le 30 janvier 2012, le docteur D._, spécialiste FMH en urologie ayant opéré l'assuré, a indiqué que du point de vue urologique, il n'existait pas de contre-indication à la reprise du travail.
Le docteur E._, médecin traitant de l'assuré, a constaté, dans un rapport du 13 février 2012, la persistance d'une douleur supra-thoracique gauche, de type pariétal, résistante à tout et engendrant un état nerveux pathologique. Il a préconisé une infiltration et a constaté l'échec de la reprise d'une activité professionnelle.
Une demande de prestations de l'assurance-invalidité a été déposée par A._ dans le courant du mois de mars 2012.
L'assuré a émis le souhait de reprendre le travail à but thérapeutique durant quinze jours dès le 13 mars 2012. La CNA a entrepris des démarches dans ce sens auprès de l'entreprise F._. La mesure a dû être interrompue en raison de douleurs au coude droit, au bassin et dans la région du bras gauche.
A._ a séjourné à la Clinique G._ du 16 mai au 20 juin 2012. Dans leur rapport du 2 juillet 2012, les praticiens de la Clinique G._ ont attesté une incapacité de travail totale dans la profession de maçon jusqu'au 20 juillet 2012. Ils ont retenu que neuf mois après un polytraumatisme ayant entraîné diverses fractures traitées conservativement, l'évolution était peu favorable, avec persistance de douleurs thoraciques gauches inexpliquées, de douleurs fessières droites et une limitation douloureuse modérée du coude. Les fractures étaient consolidées. Sur le plan psychique, il existait un trouble de l'adaptation avec réaction anxieuse de type post-traumatique nécessitant une prise en charge spécifique. Ce trouble était principalement à l'origine de l'incapacité de travail. Sur le plan somatique, on devait s'attendre à une reprise du travail deux mois plus tard au maximum. Des facteurs défavorables allaient cependant compliquer la reprise du travail (douleurs persistantes côtées très haut, handicap perçu comme sévère, comorbidité psychiatrique, catastrophisation) chez un patient qui avait bien participé aux thérapies et qui paraissait sincère.
Le 21 août 2012, le docteur H._, chef de clinique au Service d'orthopédie-traumatologie de l'Hôpital I._, a attribué les douleurs à l'hémi-thorax gauche à une déchirure partielle des insertions musculaires du grand et/ou du petit pectoral. L'assuré ne présentant par ailleurs aucun handicap fonctionnel, il a préconisé la reprise du travail à 50 %.
Une nouvelle tentative de reprise d'activité à titre thérapeutique a été aménagée en septembre 2012. Malgré un travail jugé bien fait par l'employeur, la mesure a été interrompue. L'assuré s'est dit très fatigué et sans force depuis la prise de médicaments prescrits par ses médecins du Centre de compétence en psychiatrie et psychothérapie de l'Hôpital I._ (CCPP).
Dans son rapport d'examen final du 16 janvier 2013, le docteur J._, spécialiste FMH en chirurgie orthopédique et médecin d'arrondissement de la CNA, a indiqué que la situation ne pouvait pas être considérée comme stabilisée sur le plan urinaire puisqu'elle nécessitait encore un contrôle et des traitements auprès du docteur D._. En revanche, il a considéré que l'état de santé de l'assuré était stabilisé en ce qui concernait les lésions du bassin, du coude droit, de l'épaule droite et de l'hémi-thorax droit. Les investigations exhaustives de l'hémi-thorax gauche n'avaient pas démontré de lésion et l'origine des douleurs restait indéterminée.
Par décision du 25 janvier 2013, la CNA a mis un terme au versement des prestations d'assurance (indemnité journalière et frais de traitement) au 31 janvier 2013, sous réserve d'une prise en charge des contrôles urologiques nécessaires.
L'assuré a formé opposition contre cette décision en demandant la continuation du versement des indemnités journalières au-delà du 31 janvier 2013. Il a en outre conclu à l'octroi d'une indemnité pour atteinte à l'intégrité. A l'appui de son écriture, il a produit un certificat du docteur E._, du 11 février 2013, dans lequel ce dernier a fait état d'un syndrome psychiatrique sévère. Selon ce médecin, la reprise d'un travail dans ces conditions était délicate et une expertise psychiatrique paraissait souhaitable. Dans un certificat du 25 février 2013, le docteur E._ a indiqué que l'assuré présentait des séquelles d'accident mais surtout des troubles nerveux réactionnels; une capacité de travail était retrouvée dès le 1 er mars 2013, avec les restrictions suivantes: pas de port de charges de plus de 20 kilos, pas de contrainte psychique, besoin d'être rassuré et "freiné". Ce médecin a par ailleurs expliqué à l'assuré qu'une reprise d'activité était souhaitable pour son psychisme, réservant toutefois l'avis du psychiatre (cf. rapport du 4 mars 2013).
La CNA a rejeté l'opposition par une nouvelle décision du 4 avril 2013.
B.
Saisie d'un recours contre cette décision sur opposition, la Cour des assurances sociales du Tribunal cantonal du Valais l'a rejeté, par jugement du 14 mai 2014.
C.
A._ forme un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut, principalement, au maintien des prestations d'assurance (indemnité journalière et frais de traitement) postérieurement au 31 janvier 2013, subsidiairement, au renvoi de la cause à l'instance inférieure pour instruction complémentaire et nouvelle décision et, plus subsidiairement encore, à l'octroi d'une rente entière d'invalidité, le tout sous suite de frais et dépens.
La CNA conclut au rejet du recours tandis que l'Office fédéral de la santé publique a renoncé à se déterminer.

Considérant en droit :
1.
Le litige porte sur le droit du recourant à des prestations de l'assurance-accidents au-delà du 31 janvier 2013.
2.
En procédure fédérale, le recourant produit deux rapports de réadaptation de l'assurance-invalidité, des 7 octobre 2013 et 10 avril 2014, lesquels n'ont pas été versés en procédure cantonale. Il se prévaut en outre d'un rapport du docteur K._, du 11 juin 2014.
Dans un recours au Tribunal fédéral, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF). L'exclusion des faits et moyens de preuve nouveaux est la règle. Aussi bien, le Tribunal fédéral est juge du droit, et non du fait. Cette règle connaît une exception lorsque c'est la décision de l'autorité précédente qui, pour la première fois, a rendu pertinents ces faits ou moyens de preuve. Il peut s'agir, notamment, de faits et moyens de preuve qui se rapportent à la procédure conduite devant l'instance précédente, telle une prétendue irrégularité affectant la composition de l'autorité ayant rendu la décision querellée (arrêt 4A_18/2010 du 15 mars 2010 consid. 2.1, non publié aux <ref-ruling>). En revanche, le Tribunal fédéral ne peut pas tenir compte de faits ou moyens de preuve survenus postérieurement au prononcé de la décision entreprise, c'est-à-dire de véritables nova (<ref-ruling> consid. 3.1.2 p. 123, 133 IV 342 consid. 2.1 p. 343 et les arrêts cités).
En l'occurrence, les rapports de réadaptation de l'assurance-invalidité des 7 octobre 2013 et 10 avril 2014 produits par le recourant ne résultent pas de la décision attaquée. Quant au rapport du docteur K._ du 11 juin 2014, il s'agit d'un vrai novum. Il ne peut par conséquent pas en être tenu compte dans la présente procédure de recours.
3.
Le mandataire du recourant fait valoir qu'il a pris connaissance des rapports des 7 octobre 2013 et 10 avril 2014 après avoir consulté le dossier de l'office AI, dont il avait demandé la communication le 7 mai 2014. Cette connaissance constituerait un motif de révision, qui devrait entraîner de facto l'annulation du jugement attaqué et le renvoi à l'autorité précédente pour qu'elle statue à nouveau au regard de ces pièces. Cette manière de voir ne peut pas être partagée. S'il pensait avoir découvert un motif de révision du jugement attaqué avant la fin de la procédure fédérale, le recourant devait former une demande de révision devant l'instance cantonale, tout en requérant la suspension de la procédure fédérale pour éviter que le Tribunal fédéral statue matériellement sur le recours pendant la procédure de révision cantonale (<ref-ruling> consid. 7 et les références).
4.
La juridiction cantonale a nié l'existence d'une relation de causalité adéquate entre les troubles psychiques présentés par l'assuré et l'accident du 7 septembre 2011, tout en laissant indécis le point de savoir s'il existait un lien de causalité naturelle. Considérant l'événement en cause comme un accident de gravité moyenne, elle a retenu qu'aucun des critères objectifs définis par la jurisprudence pour statuer sur le caractère adéquat du lien de causalité en cas d'atteinte à la santé psychique n'était réalisé en l'occurrence.
Par ailleurs, la cour cantonale a retenu que la situation était stabilisée sur le plan somatique de sorte que l'assuré pouvait reprendre son activité de maçon. Elle a également retenu que les plaintes de l'assuré concernant l'hémi-thorax gauche n'étaient pas objectivables malgré des investigations exhaustives. Enfin, aucune incapacité de travail n'avait jamais été attestée sur le plan urologique.
S'agissant du droit à une éventuelle indemnité pour atteinte à l'intégrité, les premiers juges ont indiqué que la CNA se prononcerait à la suite d'une réévaluation prévue deux ans après l'accident et rendrait alors une décision susceptible d'opposition, de sorte qu'il était prématuré, à ce stade, de statuer sur une telle prestation.
5.
5.1. Le recourant reproche à la cour cantonale d'avoir conclu que sa capacité de travail était entière dans son ancienne activité de maçon.
Pour admettre une pleine capacité de travail du point de vue somatique, les premiers juges se sont fondés sur les conclusions du docteur J._, auxquelles ils ont accordé une pleine valeur probante. Il ressort de son rapport du 16 janvier 2013 que la fonction du coude était satisfaisante avec un très discret déficit d'extension. La trophicité musculaire était excellente, la marche s'effectuait sans boiterie. Il n'y avait pas de syndrome lombo-vertébral, de syndrome radiculaire irritatif ou déficitaire aux membres inférieurs. Le bassin était stable avec des douleurs en regard de la sacro-iliaque droite et sans douleurs aux manoeuvres de cisaillement. La fonction des hanches était complète et indolore. L'examen des épaules et du thorax ne révélait rien de particulier, si ce n'est une douleur à la palpation de la 4 èmeet 5 ème articulation sterno-costale gauche. Radiologiquement, les fractures étaient consolidées et en bonne position avec, pour la tête radiale, une discrète impaction articulaire sans incongrue articulaire. Le CT-Scan thoracique ne révélait pas de pathologie. En définitive, le docteur J._ a considéré que d'un point de vue professionnel, une pleine capacité de travail était exigible sur le plan somatique dans l'activité de maçon. Ces conclusions confirment celles des médecins de la Clinique G._, selon lesquels l'évolution était favorable sur le plan somatique. En dépit de la persistance de douleurs thoraciques gauches inexpliquées, de douleurs fessières droites et d'une limitation douloureuse modérée du coude, les praticiens de la Clinique G._ ont préconisé une reprise de l'activité de maçon dans un délai de deux mois maximum à compter du mois de juillet 2012. Quant au médecin traitant de l'assuré, il a pour sa part attesté que la situation était stabilisée sur le plan locomoteur (cf. rapport du 11 février 2013). S'il a certes mentionné une limitation concernant le port de charges de plus de 20 kilos (cf. rapport du 25 février 2013), il n'a toutefois fait état d'aucun diagnostic justifiant pareille limitation et a d'ailleurs préconisé la reprise de l'activité professionnelle exercée jusque-là (cf. rapport du 4 mars 2013). On ajoutera qu'en janvier 2012, le docteur D._ attestait l'absence de contre-indication, au plan urologique, à la reprise du travail.
Compte tenu de ce qui précède, c'est à juste titre que les premiers juges ont retenu une pleine capacité de travail du recourant dans son ancienne activité de maçon dès le mois de février 2013.
5.2. Le recourant fait également grief à la juridiction cantonale d'avoir nié l'existence d'un lien de causalité adéquate entre les séquelles psychiques et la chute dont il a été victime.
5.2.1. Le jugement entrepris expose correctement les dispositions légales et les principes jurisprudentiels applicables, en particulier les critères déterminants en matière de causalité adéquate en cas de troubles psychiques consécutifs à un accident (<ref-ruling> consid. 6 p. 138 ss et 403 consid. 5 p. 407 ss). Il peut y être renvoyé.
5.2.2. En l'espèce, on ne saurait suivre le recourant lorsqu'il soutient que l'accident se situe à la limite supérieure de la catégorie des accidents moyens. On rappellera que pour procéder à la classification de l'accident, il convient non pas de s'attacher à la manière dont l'assuré a ressenti et assumé le choc traumatique, mais bien plutôt de se fonder, d'un point de vue objectif, sur l'événement accidentel lui-même. Sont déterminantes les forces générées par l'accident et non pas les conséquences qui en résultent (arrêts 8C_398/2012 du 6 novembre 2012 consid. 5.2 in SVR 2013 UV n° 3 p. 8 et 8C_435/2011 du 13 février 2012 consid. 4.2 in SVR 2012 UV n° 23 p. 84). D'après la casuistique en matière de chutes d'une certaine hauteur, ont été considérées comme faisant partie de la limite supérieure de la catégorie des accidents de gravité moyenne, les chutes qui se sont produites d'une hauteur entre 5 et 8 mètres et qui ont entraîné des lésions osseuses relativement sévères (voir les arrêts publiés à la RAMA 1999 n° U 330 p. 122 consid. 4b/bb et RAMA 1998 n° U 307 p. 448 consid. 3a).
5.2.3. En l'espèce, l'assuré a fait une chute de trois mètres environ. Il n'y a donc pas lieu de remettre en cause l'appréciation des premiers juges selon laquelle l'accident doit être considéré comme étant de gravité moyenne stricto sensu. Dans une telle éventualité, il faut un cumul de trois critères sur les sept ou au moins que l'un des critères retenus se soit manifesté de manière particulièrement marquante pour l'accident (par. ex. arrêt 8C_434/2013 du 7 mai 2014 consid. 7.1 et les arrêts cités). En l'espèce, ces conditions (alternatives) ne sont pas remplies. On notera en particulier que la survenance d'un accident de gravité moyenne présente toujours un certain caractère impressionnant pour la personne qui en est victime, ce qui ne suffit pas en soi à conduire à l'admission de ce critère (voir par comparaison l'arrêt 8C_657/2013 du 3 juillet 2014 consid. 5.3). En ce qui concerne les autres critères, on peut renvoyer aux considérants convaincants du jugement attaqué, la motivation du recourant étant ici insuffisante au regard des exigences de l'art. 42 al. 2 LTF.
6.
Vu ce qui précède, la juridiction cantonale était fondée à confirmer la décision de suppression des prestations rendue par la CNA. Le recours se révèle par conséquent mal fondé.
7.
Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal valaisan, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 24 juin 2015
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente : Leuzinger
La Greffière : Fretz Perrin