Faits :
A.
Les époux B.A._, née en 1982 à Koumassi (Abidjan/Côte d'Ivoire), ressortissante de Côte d'Ivoire, et A.A._, né en 1966 à Abidjan (Côte d'Ivoire), originaire de Lancy (Genève), ont contracté mariage le 25 février 2006 à Marcory (Abidjan/Côte d'Ivoire). Ils sont les parents de C._, née en 2007 à Genève, D._, né en 2008 à Genève, et E._, né en 2012 à Genève.
B.
B.a. Par acte du 19 septembre 2013, l'épouse a requis du Tribunal de première instance du canton de Genève (ci-après: Tribunal de première instance) le prononcé de mesures protectrices de l'union conjugale.
Par jugement du 30 juin 2014, le Tribunal de première instance a, entre autres points, réservé à l'époux un droit de visite sur E._ à exercer d'entente entre les parties mais au minimum un jour par semaine (ch. 5 du dispositif).
Par acte du 21 juillet 2014, l'épouse a formé appel de ce jugement devant la Cour de justice du canton de Genève (ci-après: Cour de justice), concluant à ce que le ch. 5 du dispositif soit complété en ce sens qu'il soit interdit à son époux, sous la menace de la peine prévue à l'art. 292 CP, d'exercer son droit aux relations personnelles avec E._ en dehors du territoire suisse et qu'il lui soit ordonné de lui remettre les passeports de l'enfant, ainsi que toute pièce d'identité et document de voyage, dans un délai de 5 jours dès le prononcé du jugement, également sous la menace de la peine prévue à l'art. 292 CP.
L'époux n'a pas fait usage de son droit de réponse dans le délai de 10 jours qui lui avait été fixé par communication de la Cour de justice du 28 juillet 2014, reçue le 5 août 2014. Par lettre du 28 août 2014, il a toutefois conclu à l'irrecevabilité des conclusions de son épouse.
B.b.
Statuant par arrêt du 10 octobre 2014, expédié le 15 suivant, la Cour de justice a complété le ch. 5 du dispositif du jugement attaqué comme suit:
" Condamne A.A._ à exercer un droit de visite sur l'enfant E._, né en 2012 à Genève, exclusivement sur le territoire suisse, sous la menace de la peine prévue par l'art. 292 CP, qui prévoit que « celui qui ne se sera pas conformé à une décision à lui signifiée, sous la menace de la peine prévue au présent article, par une autorité ou un fonctionnaire compétents sera puni d'une amende ».
Condamne A.A._ à remettre à B.A._ tout document d'identité de l'enfant E._ en sa possession, notamment les passeports suisse et ivoirien, ainsi que la carte d'identité, dans le délai de 5 jours dès la notification du présent dispositif, sous la menace de la peine prévue par l'art. 292 CP, qui prévoit que « celui qui ne se sera pas conformé à une décision à lui signifiée, sous la menace de la peine prévue au présent article, par une autorité ou un fonctionnaire compétents sera puni d'une amende ».
Autorise B.A._ à faire exécuter par la force publique le paragraphe ci-dessus du présent dispositif, dès l'échéance du délai y mentionné. "
C.
Par acte posté le 17 novembre 2014, A.A._ exerce un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut à son annulation et à sa réforme en ce sens qu'il est " di [ t ]et prononc [ é ] qu'[il] est en droit d'exercer son droit de visite sur l'enfant E._ (...) en dehors du territoire suisse (...) [et] de disposer des passeports suisse et ivoirien et de la carte d'identité de l'enfant E._ lorsqu'il exerce son droit de visite ". A l'appui de son recours, il produit une pièce nouvelle.
Des réponses n'ont pas été requises.

Considérant en droit :
1.
1.1. Le recours a été déposé en temps utile (art. 100 al. 1 LTF) ainsi que dans la forme légale (art. 42 LTF) contre une décision finale (art. 90 LTF; <ref-ruling> consid. 4 p. 395 s.) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire civile (art. 72 al. 1 LTF). Le litige porte sur le droit aux relations personnelles, à savoir une affaire de nature non pécuniaire. Le recourant a en outre pris part à la procédure devant l'autorité précédente (art. 76 al. 1 let. a LTF) et a un intérêt digne de protection à l'annulation ou à la modification de la décision attaquée (art. 76 al. 1 let. b LTF). Le recours est donc en principe recevable au regard de ces dispositions.
1.2. Sous réserve d'hypothèses non pertinentes dans le cas présent, le recours en matière civile est une voie de réforme (cf. art. 107 al. 2 LTF); dès lors, la partie recourante doit formuler des conclusions qui tendent à la modification sur le fond de l'acte attaqué (<ref-ruling> consid. 1.3 et les arrêts cités).
En l'occurrence, le recourant se borne à prendre des conclusions constatatoires. En principe, un tel chef de conclusions est subsidiaire (cf. Florence Aubry Girardin, Commentaire de la LTF, 2ème éd., 2014, n° 17 ad art 42 LTF). Il ressort toutefois de la motivation du recours, rapprochée des motifs de la décision entreprise, que le recourant demande le rejet de l'appel de l'intimée et la confirmation du jugement de première instance, de sorte que le recours s'avère recevable sous cet angle.
1.3. En vertu des principes de la bonne foi et de l'épuisement des griefs (art. 75 al. 1 LTF), tous les moyens nouveaux sont exclus dans le recours en matière civile au sens de l'art. 98 LTF, sauf dans les cas où seule la motivation de la décision attaquée donne l'occasion de les soulever, c'est-à-dire lorsque c'est cette décision qui, pour la première fois, a rendu pertinents ces faits ou moyens de preuve (art. 99 al. 1 LTF; <ref-ruling> consid. 2; <ref-ruling> consid. 2.1; <ref-ruling> consid. 5.2.4; arrêts 5A_577/2010 du 18 octobre 2010 consid. 1.2, publié in: SJ 2011 I p. 101; 5A_871/2009 du 2 juin 2010 consid. 2).
En l'occurrence, le recourant produit un courrier du 29 septembre 2014 de l'Office cantonal des assurances sociales. Or il n'apparaît pas, et le recourant ne le prétend pas, qu'il aurait été soumis à l'autorité cantonale ni que seule la motivation de l'arrêt attaqué le rendrait pertinent pour la première fois. Cette pièce ne peut donc être prise en considération.
2.
2.1. La décision sur mesures protectrices de l'union conjugale étant une décision portant sur des mesures provisionnelles au sens de l'art. 98 LTF (<ref-ruling> consid. 5.1), seule peut être dénoncée la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés conformément au principe d'allégation (art. 106 al. 2 LTF), à savoir expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 1.4). Lorsque le recourant se plaint d'arbitraire (art. 9 Cst.), il ne peut se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours dispose d'une libre cognition; il ne saurait se contenter d'opposer son opinion à celle de la juridiction précédente, mais doit démontrer, par une argumentation précise, que cette décision se fonde sur une application du droit ou une appréciation des preuves manifestement insoutenables (<ref-ruling> consid. 3 et les arrêts cités). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2).
2.2. De jurisprudence constante, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 2.2.2 p. 318 s.); il ne suffit pas qu'une solution différente apparaisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 3.1 et les références p. 153).
En ce qui concerne l'appréciation des preuves et la constatation des faits, le Tribunal fédéral se montre réservé, vu le large pouvoir qu'il reconnaît en la matière au juge du fait (<ref-ruling> consid. 4b p. 40; <ref-ruling> consid. 1b p. 30). Il n'intervient, du chef de l'art. 9 Cst., que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans motifs objectifs de tenir compte de preuves pertinentes ou a opéré, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 4.2 p. 560). Cette retenue est d'autant plus grande lorsque, comme en l'espèce, le juge n'examine la cause que d'une manière sommaire et provisoire (<ref-ruling> consid. 3.3 p. 325; <ref-ruling> consid. 2.1 p. 9; arrêts 5A_287/2013 du 5 août 2013 consid. 4.1; 5A_679/2011 du 10 avril 2012 consid. 6.1).
3.
Retenant que le recourant avait affirmé être, selon les lois de son pays, le seul en droit de décider de l'avenir de E._ et, notamment, de décider de son placement en Afrique s'il l'estimait nécessaire, la cour cantonale a considéré que l'époux envisageait ainsi expressément la possibilité d'un déplacement de l'enfant, au mépris de l'avis contraire éventuel de son épouse et des droits parentaux de celle-ci. Au vu de ce seul élément, l'existence d'un risque concret d'enlèvement de l'enfant devait déjà être admise. Ce risque était corroboré par les évènements d'ores et déjà survenus en lien avec les deux enfants aînés des parties. Certes, les parties divergeaient sur les circonstances du déplacement de ces enfants en Afrique en 2008, l'épouse alléguant un enlèvement de ceux-ci à l'occasion d'un voyage pendant les vacances avec leur père, l'époux expliquant ce déplacement tantôt par le défaut d'un logement adéquat pour les accueillir à Genève, tantôt par les horaires de travail irréguliers de son épouse. Cela étant, cette dernière avait rendu vraisemblable son désaccord avec le placement des enfants dans la famille de son époux en Afrique, ce dès 2013. En effet, à cette époque, elle avait tenté de décider du lieu de vie de ses deux enfants aînés, en confiant ceux-ci à sa soeur. Cette tentative avait cependant été suivie de l'ordre judiciaire immédiat de remise de ceux-ci à leur père, procédure dont il ne ressortait pas que l'épouse ait été entendue ni même informée. L'époux n'avait d'ailleurs à aucun moment contesté l'allégation de l'épouse, selon laquelle les deux enfants aînés vivaient actuellement en Côte d'Ivoire contre la volonté de celle-ci. Il avait au surplus refusé de fournir au Service de protection des mineurs (SPMi) toute information sur leur lieu de vie et de permettre un contact entre les enfants et leur mère. Dès lors que l'époux avait d'ores et déjà agi contre la volonté de l'épouse concernant ses enfants aînés, la cour cantonale a jugé qu'il était hautement vraisemblable qu'il agirait de même avec le cadet. Le fait que l'époux soit domicilié en Suisse, travaille en Suisse et n'ait pas l'intention de s'établir en Afrique ne pouvait modifier la conclusion selon laquelle un risque d'enlèvement de E._ devait être retenu. En effet, ces éléments n'étaient pas pertinents dans le cas d'espèce, dès lors qu'au vu de la situation des deux aînés et des déclarations mêmes du père au sujet du cadet, le risque de déplacement illicite de celui-ci se réaliserait par le biais d'un placement en Afrique auprès de tiers, comme c'était le cas avec ses aînés, le père continuant de résider en Suisse.
Les juges précédents ont par ailleurs relevé qu'aux fins de pallier le risque d'enlèvement, une mesure de surveillance par un tiers - telle que l'exercice du droit de visite en cause dans un Point Rencontre à Genève - aurait pu être ordonnée d'office. L'intérêt de l'enfant justifiait cependant les mesures moins incisives réclamées par l'épouse, consistant dans l'interdiction d'exercer ce droit de visite hors du territoire suisse et la restitution de tout document permettant le déplacement de l'enfant à l'étranger. Ces mesures se justifiaient d'autant plus qu'en cas de déplacement illicite de l'enfant, l'épouse pourrait difficilement obtenir le retour de celui-ci, faute de convention internationale applicable à cet effet. En conséquence, malgré le souhait, légitime, de l'époux de se rendre dans son pays d'origine avec son fils cadet et de permettre notamment la rencontre de celui-ci avec sa fratrie, la restriction du droit de visite au territoire suisse était proportionnée au risque concerné. Au demeurant, dès lors que le droit de visite serait exercé, a priori, à raison d'un jour par semaine, l'interdiction de quitter le territoire suisse ne constituait pas, en l'état, une restriction excessive du droit.
4.
Sous couvert de violation de l'interdiction de l'arbitraire (art. 9 Cst.), le recourant se plaint de ce que la cour cantonale n'aurait pas pris en considération ses déclarations faites devant le premier juge selon lesquelles il n'avait pas l'intention de partir vivre en Côte d'Ivoire. Bénéficiant d'un emploi stable et correctement rémunéré à Genève, il n'avait aucune intention de s'expatrier. La décision entreprise était par ailleurs choquante dans la mesure où elle empêchait un père domicilié à Genève de se rendre avec son fils, également domicilié à Genève, " par exemple en France voisine pour y faire ses achats ou s'y divertir " durant l'exercice légitime de son droit de visite. Elle constituait une atteinte extrêmement grave à la liberté de deux citoyens suisses " d'aller et venir comme bon leur semble ". Le postulat de la cour cantonale selon lequel il se rendrait automatiquement en Côte d'Ivoire avec son fils pour en revenir seul - alors qu'il s'était déjà rendu dans ce pays avec son fils et qu'il en était toujours revenu avec lui - procédait d'une " attitude négative et donc critiquable ". Contrairement à l'avis " péremptoire " des juges précédents, il n'y avait aucun risque concret d'enlèvement d'enfant.
Une telle critique, purement appellatoire, ne répond pas aux exigences de motivation susmentionnées (cf. supr a consid. 2.1). Ne discutant pas de manière claire et détaillée les motifs ayant conduit la cour cantonale à retenir l'existence d'un risque d'enlèvement d'enfant (cf. supra consid. 3), le recourant ne parvient pas à démontrer que l'opinion des juges précédents serait manifestement insoutenable. Faute de motivation suffisante, le grief d'arbitraire est irrecevable (art. 106 al. 2 LTF).
5.
En définitive, le recours est irrecevable. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF). L'intimée qui n'a pas été invitée à se déterminer n'a pas droit à des dépens (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 26 janvier 2015
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Hildbrand