Faits :
A.
A.a. C._, née le 14 novembre 2012, est la fille de A._ et de B._. Ce dernier a reconnu sa fille le 14 octobre 2013.
A.b. Par décision du 18 mars 2015, le Tribunal régional des Montagnes et du Val-de-Ruz du canton de Neuchâtel (ci-après: Tribunal régional), statuant en qualité d'autorité de protection de l'enfant et de l'adulte, a octroyé à B._ un droit de visite sur sa fille. Il a précisé que celui-ci s'exercerait tout d'abord à quatre reprises par le biais d'un Point rencontre, un samedi sur deux, selon les modalités prévues par l'enquêteur social (ch. 1 du dispositif), puis en passant par un Point échange, à quinzaine, du samedi matin au dimanche soir, aux dates arrêtées par l'enquêteur social (ch. 2). Il a également ordonné le dépôt de l'ensemble des papiers d'identité de B._ et de C._ en mains du greffe de l'autorité de protection de l'enfant et de l'adulte (ch. 3), fait interdiction à celui-ci de quitter la Suisse avec sa fille, sous commination des peines prévues à l'art. 292 CP (ch. 4) et chargé l'enquêteur social de lui signaler immédiatement tout élément propre à modifier la décision (ch. 5). Finalement, le Tribunal régional a retiré l'effet suspensif à un éventuel recours (ch. 6).
A.c. Le 20 avril 2015, A._ a recouru contre cette décision par-devant la Cour des mesures de protection de l'enfant et de l'adulte du Tribunal cantonal du canton de Neuchâtel (ci-après: Cour d'appel). Elle a préalablement requis la restitution de l'effet suspensif à la déci-sion querellée.
B.
Par ordonnance du 8 mai 2015, la Cour d'appel a confirmé le retrait de l'effet suspensif au recours et, partant, l'exécution immédiate de la décision du 18 mars 2015.
C.
Par acte du 26 mai 2015, A._ exerce un recours en matière civile au Tribunal fédéral contre cette ordonnance concluant principalement à sa réforme en ce sens que l'effet suspensif est immédiatement restitué à la décision du Tribunal régional du 18 mars 2015 et, subsidiairement, à l'annulation de l'ordonnance entreprise et au renvoi de la cause à l'autorité précédente pour reconsidération immédiate au sens de la présente motivation. A l'appui de ses conclusions, elle invoque l'arbitraire dans l'appréciation des preuves et des faits ainsi qu'une application arbitraire de l'art. 450c CC. Elle a également requis d'être mise au bénéfice de l'assistance judiciaire.
Invités à se déterminer sur le recours, la cour cantonale a déclaré ne pas avoir d'observations à formuler et B._ a conclu à son rejet.

Considérant en droit :
1.
1.1. La décision querellée confirme une décision de première instance rendue par une autorité de protection de l'enfant et de l'adulte portant sur l'instauration d'un droit de visite en tant que celle-ci a retiré l'effet suspensif à un éventuel futur recours, décision contre laquelle la recourante a fait recours. Il s'agit là d'une décision incidente en matière civile (art. 72 al. 1 LTF; <ref-ruling> consid. 1 et les références).
Le recours contre une décision incidente est soumis à la même voie de droit que celle qui est ouverte contre la décision principale (arrêts 5D_55/2011 du 23 septembre 2011 consid. 1.2; 5A_491/2007 du 15 novembre 2007 consid. 1.2). La cause pour laquelle l'effet suspensif est requis porte exclusivement sur la question du droit de visite du père sur sa fille, à savoir une cause de nature non pécuniaire, de sorte que le recours est ouvert indépendamment de la valeur litigieuse. Le recours a en outre été interjeté en temps utile par une partie qui a succombé dans ses conclusions en instance cantonale, de sorte qu'il est également recevable au regard des art. 76 et 100 al. 1 LTF.
1.2. Hormis les décisions mentionnées à l'art. 92 al. 1 LTF, une décision préjudicielle ou incidente peut être entreprise immédiatement si elle peut causer un préjudice irréparable (art. 93 al. 1 let. a LTF) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (art. 93 al. 1 let. b LTF). Selon la jurisprudence, la décision entreprise entraîne un préjudice irréparable, car la garde est arrêtée pour la durée de la procédure et, même si la mère obtient finalement gain de cause au fond, aucune réparation ne sera possible pour la période écoulée ( <ref-ruling> consid. 2b; arrêt 5A_718/2007 du 23 janvier 2008 consid. 1.2).
2.
La décision accordant l'effet suspensif, comme celle d'exécution provisoire ou de retrait de l'effet suspensif ( <ref-ruling> consid. 1.5; arrêts 4A_452/2008 du 6 novembre 2008 consid. 1; 5A_834/2010 du 17 décembre 2010 consid. 2), est une décision de mesures provisionnelles au sens de l' art. 98 LTF, de sorte que seule la violation de droits constitutionnels peut être invoquée.
3.
La recourante invoque une application arbitraire de l'art. 450c CC et une appréciation arbitraire des preuves et des faits au sens de l'art. 9 Cst.
3.1. Lorsqu'un recours est interjeté devant l'instance judiciaire de recours compétente en matière de protection de l'enfant, l'art. 450c CC prévoit, par renvoi de l'art. 314 al. 1 CC, que celui-ci est suspensif à moins que l'autorité de protection ou l'instance judiciaire de recours n'en décide autrement. La suspension de l'exécution de la décision constitue par conséquent la règle, de sorte que l'autorité cantonale doit motiver valablement sa décision de retrait de l'effet suspensif au recours.
3.2. En l'occurrence, la Cour d'appel a considéré que, compte tenu de l'âge de l'enfant, il était important que le droit de visite du père puisse reprendre le plus rapidement possible. Il ne ressortait en outre pas du dossier une mise en danger concrète de la mineure en cas d'exercice par le père de son droit de visite, dans la mesure où l'autorité de protection de l'enfant et de l'adulte avait soumis celui-ci à certaines modalités en raison de l'absence du lien père-fille durant trois mois et avait également ordonné le dépôt de l'ensemble des pièces d'identité du père et de l'enfant à son greffe et sommé le père de ne pas quitter la Suisse avec l'enfant sous la menace de la peine prévue par l'art. 292 CP. Elle a en définitive considéré que l'intérêt de la mineure commandait de rejeter la requête de restitution de l'effet suspensif.
3.3. La recourante soutient que l'autorité cantonale a appliqué arbitrairement l'art. 450c CC. Selon cette norme, son recours avait un effet suspensif de par la loi qui ne pouvait être retiré que dans des cas particuliers. Citant un <ref-ruling> consid. 3, elle rappelle qu'afin de décider s'il retire l'effet suspensif au recours, le juge doit procéder à une pesée des intérêts en présence et arriver à la conclusion que l'intérêt à exécuter immédiatement la décision litigieuse prime. A cet égard, l'autorité cantonale avait relevé à juste titre que le bien de l'enfant sert de ligne directrice pour l'examen de la nécessité d'un retrait de l'effet suspensif; elle aurait toutefois apprécié arbitrairement les faits allégués et les preuves fournies par ses soins, lesquels auraient précisément dû l'amener à considérer que le bien de l'enfant commandait le maintien de l'effet suspensif au recours. Elle reproche en particulier à la cour cantonale de ne pas avoir pris en compte plusieurs témoignages écrits qu'elle a produits, lesquels tendent à démontrer que le père de l'enfant souhaiterait lui nuire et envisagerait d'emmener sa fille au Maroc afin qu'elle y soit élevée par sa mère " dans une ambiance purement musulmane ", de sorte qu'il existerait un risque concret d'enlèvement de l'enfant. L'autorité précédente aurait également omis de prendre en considération le fait que l'intimé vient de se marier au Maroc et que toute sa famille y vit, de sorte qu'il a des liens étroits avec ce pays où il pourrait facilement emmener sa fille. Elle soutient également que l'intimé ne se serait aucunement soucié de sa fille depuis le 18 décembre 2014. Finalement, elle se plaint du fait que l'autorité cantonale ait omis d'indiquer les voies de droit sur la décision querellée. Elle admet elle-même que cette omission n'a aucune conséquence puisqu'elle a recouru en temps utile mais relève que cet oubli pourrait laisser penser que la question de l'effet suspensif a été traitée à la légère.
3.4. En l'espèce, l'autorité cantonale a relevé qu'il ne ressortait pas du dossier une mise en danger concrète de la mineure en cas d'exercice du droit de visite par son père. La motivation de la décision entreprise étant succincte, il est toutefois difficile de déterminer sur quels éléments du dossier l'instance cantonale s'est fondée pour parvenir à cette conclusion. Il est vrai qu'elle ne pouvait, contrairement à ce que lui reproche la recourante, accorder un poids important aux témoignages produits par celle-ci et attestant des intentions de l'intimé d'emmener sa fille au Maroc. Il s'agit en effet uniquement de témoignages écrits, émanant de surcroît vraisemblablement de personnes proches de la recourante, de sorte que leur valeur probante doit être appréciée avec une certaine réserve, l'intimé ayant également produit des témoignages écrits en sa propre faveur. Cela étant, l'autorité cantonale n'a pas non plus évoqué le fait que l'intimé, au bénéfice d'un passeport marocain et bien que vivant et travaillant actuellement en Suisse, a toutefois épousé une femme vivant au Maroc et avec laquelle il était déjà fiancé antérieurement à sa rencontre avec la recourante. Une partie de sa famille vit vraisemblablement également au Maroc, de sorte qu'il appa-raît avoir encore des attaches importantes avec ce pays. Il est vrai que l'intimé fait valoir dans sa réponse qu'il a déposé une demande de transcription d'un acte de mariage célébré au Maroc au Ministère des affaires étrangères, en vue d'une procédure de regroupement familial, afin que son épouse puisse venir s'installer en Suisse. Cette demande de transcription a toutefois été déposée en France, de sorte que cet allégué ne permet pas à lui seul d'exclure la possibilité que l'intimé puisse emmener sa fille dans ce pays également. L'intimé bénéficie en effet aussi de la nationalité française et a travaillé et vécu en France où une partie de sa famille est par ailleurs établie. Il peut donc aisément s'y rendre, y compris sans disposer de son passeport. Il convient en outre de préciser que le père de l'enfant n'avait pas vu sa fille depuis trois mois au moment où la décision du Tribunal régional a été rendue et que cette autorité a elle-même relevé que l'interruption des relations personnelles entre le père et sa fille commandait une certaine prudence, raison pour laquelle elle a décidé que les quatre premières visites auraient lieu dans un Point rencontre. Elle a également rappelé que le droit de visite serait quoi qu'il en soit réévalué à réception du rapport de l'enquêteur social. Il ressort au surplus de sa motivation qu'elle a retiré l'effet suspensif à un éventuel recours pour éviter que la reprise du droit de visite du père ne soit bloqué.
Ainsi, compte tenu de l'ensemble des éléments qui précèdent, il apparaît préférable, au moins pour la durée de la procédure de recours, que le droit de visite du père continue à s'exercer au sein d'un Point rencontre. Cette mesure permet en effet à la fois de rétablir de manière progressive le lien père-fille qui a été rompu durant plusieurs mois, de parer au risque éventuel d'enlèvement, d'attendre les conclusions du rapport de l'enquêteur social tout en évitant dans un même temps de suspendre complètement le droit de visite du père, ce qui était le souci premier de l'autorité de première instance lorsqu'elle a retiré l'effet suspensif à un éventuel recours. Il se justifie par conséquent de restituer partiellement l'effet suspensif au recours, étant en outre rappelé que cette mesure est rendue pour une durée particulièrement limitée puisque la Cour d'appel a informé la Cour de céans par courrier du 2 juin 2015 qu'une décision au fond serait rendue à brève échéance.
4.
En définitive, le recours doit être admis et la décision entreprise réformée en ce sens que l'effet suspensif est restitué au recours interjeté contre la décision du Tribunal régional des Montagnes et du Val-de-Ruz du 18 mars 2015 s'agissant de l'exercice du droit de visite par le biais d'un Point échange (ch. 2 du dispositif de la décision du Tribunal régional du 18 mars 2015). Le droit de visite de l'intimé continuera par conséquent à s'exercer exclusivement au Point rencontre, un samedi sur deux, selon les modalités prévues par l'enquêteur social, ce pour la durée de la procédure de recours. La requête d'assistance judiciaire de la recourante est admise, dans la mesure où elle n'est pas sans objet (art. 64 al. 1 LTF). Cette dernière, qui obtient gain de cause, a droit à une indemnité de dépens (art. 68 al. 1 et 2 LTF). Les frais judiciaires sont mis à la charge de l'intimé qui succombe (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, la décision attaquée annulée et réformée en ce sens que l'effet suspensif est restitué au recours formé par A._ contre la décision rendue le 18 mars 2015 par le Tribunal régional des Montagnes et du Val-de-Ruz, autorité de protection de l'enfant et de l'adulte, au sens des considérants.
2.
Autant qu'elle n'est pas sans objet, la demande d'assistance judiciaire de la recourante est admise et Me Céline Vara, avocate à Neuchâtel, lui est désignée comme conseil d'office pour la procédure fédérale.
3.
Un émolument judiciaire de 1'000 fr. est mis à la charge de l'intimé.
4.
L'intimé versera à la recourante une indemnité de 1'500 fr. à titre de dépens. Au cas où ces dépens ne pourraient être recouvrés, la Caisse du Tribunal fédéral versera à Me Céline Vara une indemnité de 1'500 fr. à titre d'honoraires.
5.
Le présent arrêt est communiqué aux parties et à la Cour des mesures de protection de l'enfant et de l'adulte du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 25 juin 2015
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Hildbrand