Faits : A. A.a. C._, née le 14 novembre 2012, est la fille de A._ et de B._. Ce dernier a reconnu sa fille le 14 octobre 2013. A.b. Par décision du 18 mars 2015, le Tribunal régional des Montagnes et du Val-de-Ruz du canton de Neuchâtel (ci-après: Tribunal régional), statuant en qualité d'autorité de protection de l'enfant et de l'adulte, a octroyé à B._ un droit de visite sur sa fille. Il a précisé que celui-ci s'exercerait tout d'abord à quatre reprises par le biais d'un Point rencontre, un samedi sur deux, selon les modalités prévues par l'enquêteur social (ch. 1 du dispositif), puis en passant par un Point échange, à quinzaine, du samedi matin au dimanche soir, aux dates arrêtées par l'enquêteur social (ch. 2). Il a également ordonné le dépôt de l'ensemble des papiers d'identité de B._ et de C._ en mains du greffe de l'autorité de protection de l'enfant et de l'adulte (ch. 3), fait interdiction à celui-ci de quitter la Suisse avec sa fille, sous commination des peines prévues à l'art. 292 CP (ch. 4) et chargé l'enquêteur social de lui signaler immédiatement tout élément propre à modifier la décision (ch. 5). Finalement, le Tribunal régional a retiré l'effet suspensif à un éventuel recours (ch. 6). A.c. Le 20 avril 2015, A._ a recouru contre cette décision par-devant la Cour des mesures de protection de l'enfant et de l'adulte du Tribunal cantonal du canton de Neuchâtel (ci-après: Cour d'appel). Elle a préalablement requis la restitution de l'effet suspensif à la déci-sion querellée. B. Par ordonnance du 8 mai 2015, la Cour d'appel a confirmé le retrait de l'effet suspensif au recours et, partant, l'exécution immédiate de la décision du 18 mars 2015. C. Par acte du 26 mai 2015, A._ exerce un recours en matière civile au Tribunal fédéral contre cette ordonnance concluant principalement à sa réforme en ce sens que l'effet suspensif est immédiatement restitué à la décision du Tribunal régional du 18 mars 2015 et, subsidiairement, à l'annulation de l'ordonnance entreprise et au renvoi de la cause à l'autorité précédente pour reconsidération immédiate au sens de la présente motivation. A l'appui de ses conclusions, elle invoque l'arbitraire dans l'appréciation des preuves et des faits ainsi qu'une application arbitraire de l'art. 450c CC. Elle a également requis d'être mise au bénéfice de l'assistance judiciaire. Invités à se déterminer sur le recours, la cour cantonale a déclaré ne pas avoir d'observations à formuler et B._ a conclu à son rejet.