Faits : A. C._, née hors mariage en 2009, est la fille de A._ (1979) et de B._ (1977), lequel a reconnu sa fille le 12 février 2010. L'autorité parentale conjointe a été attribuée aux deux parents, par décision du 23 août 2010 de l'Autorité tutélaire du district de D._, qui a approuvé la convention conclue par les parents le 29 avril 2010. Depuis sa naissance, l'enfant a vécu régulièrement avec ses deux parents. B. Par requête du 11 septembre 2013 à l'Autorité de protection de l'enfant et de l'adulte (ci-après: APEA), le père a requis des mesures superprovisionnelles urgentes sans audition des parties tendant à ce que la garde exclusive de l'enfant lui soit attribuée, à ce que le retour immédiat de l'enfant à D._ soit ordonné et à ce que le droit de visite de la mère soit fixé, dès le retour en Suisse de l'enfant et de la mère. A l'appui de sa demande, le père a relevé le comportement de la mère qui négligeait ses responsabilités, en passant beaucoup de temps sur les réseaux sociaux, l'altercation survenue entre la mère et lui le 3 août 2013, alors que la famille passait ses vacances en Grèce, qui a amené la mère et l'enfant à partir seules en Espagne, alors qu'il était prévu que la famille y poursuive ses vacances jusqu'au 17 août 2013, ainsi que le fait que la mère n'avait pas repris son activité professionnelle. Pour requérir la garde exclusive, le père s'est référé à une convention signée par les parties le 23 juillet 2013, prévoyant, en cas de séparation, une garde alternée hebdomadaire de l'enfant. B.a. Par ordonnance de mesures superprovisionnelles du 12 septembre 2013, le Président de l'APEA, statuant d'urgence sans citation des parties, a attribué à titre provisoire au père la garde exclusive de l'enfant et a fixé à la mère un délai de 15 jours pour prendre position par écrit. Le 20 septembre 2013, le Président a retiré l'effet suspensif à un éventuel recours contre cette décision. B.b. Après que la mère se soit prononcée par écrit et après avoir tenu audience, le Président de l'APEA, par décision de mesures provisionnelles du 11 décembre 2013, a confirmé l'ordonnance de mesures superprovisionnelles du 12 septembre 2013, attribuant au père la garde exclusive de l'enfant et retirant l'effet suspensif. Le Président a admis sa compétence vu la résidence habituelle de l'enfant à D._, où elle a séjourné de manière ininterrompue depuis sa naissance. Il a considéré que la mère conteste à tort le caractère illicite du déplacement de l'enfant en Espagne, que les propos de la mère, selon lesquels le père chercherait à la tuer en cas de retour en Suisse, ne sont pas corroborés par les éléments du dossier, que l'altercation du 3 août n'a pas la gravité que la mère voulait lui prêter, que les affirmations de la mère, selon lesquelles elle subissait des violences conjugales depuis de nombreuses années, ne sont pas crédibles, que le non-retour de l'enfant heurte l'autorité parentale dont le père est aussi l'attributaire, que l'attitude de la mère est déconcertante à tel point qu'elle n'est plus à même d'offrir la stabilité nécessaire à l'enfant confrontée à un changement de lieu de vie et à l'absence de relation avec son père, et que cette absence de relations personnelles avec le père heurte le bien de l'enfant. Le Président, ajoutant que rien ne permettait de douter des capacités éducatives du père nécessaires pour s'occuper convenablement de l'enfant et pour permettre des contacts réguliers avec l'autre parent, a conclu que l'attribution exclusive de la garde au père constituait la mesure correspondant au mieux aux besoins de l'enfant. La mère a interjeté recours le 20 décembre 2013 contre l'ordonnance de mesures provisoires et requis la suspension du caractère exécutoire de la décision. Elle a conclu à l'attribution de la garde et contesté la compétence de l'APEA, exposant qu'au moment où le père avait déposé sa requête d'attribution de la garde, l'enfant avait constitué un nouveau domicile en Espagne. Le père s'est opposé à l'octroi de l'effet suspensif le 7 janvier 2014. Par ordonnance du 9 janvier 2014, la juge instructeur de la Cour des mesures de protection de l'enfant et de l'adulte du Tribunal cantonal du canton de Neuchâtel a rejeté la requête de suspension du caractère exécutoire de la décision querellée. B.c. Par arrêt du 10 février 2014, la Cour des mesures de protection de l'enfant et de l'adulte du Tribunal cantonal du canton de Neuchâtel a rejeté le recours et confirmé l'ordonnance de mesures provisionnelles du Président de l'APEA du 11 décembre 2013. C. Par acte du 13 mars 2014, remis à la Poste suisse en copie le 14 mars 2014 et en original le 15 mars 2014, A._ interjette un recours en matière civile au Tribunal fédéral. Elle conclut principalement à ce que l'incompétence des autorités neuchâteloises soit constatée, subsidiairement, à l'annulation de l'arrêt entrepris. Au préalable, la recourante sollicite le bénéfice de l'assistance judiciaire pour la procédure fédérale et requiert que l'effet suspensif soit accordé à son recours. Invité à se déterminer sur l'effet suspensif, le père a conclu principalement à l'irrecevabilité du recours pour tardiveté, subsidiairement au rejet de la requête de suspension de l'effet exécutoire de l'arrêt entrepris. L'autorité précédente a exposé ne pas avoir d'observations à formuler et se référer aux considérants de sa décision. D. Par ordonnance du 7 avril 2014, le Président de la IIe Cour de droit civil du Tribunal fédéral, a constaté que le délai de recours était respecté et au surplus, tenant compte des circonstances particulières de la cause, rejeté la requête présentée par la mère. Des réponses au fond n'ont pas été requises.