Faits : A. A.a. D._ est la fille née hors mariage en 2007 de la relation entre B._ et A._. Les parents se sont séparés avant la naissance de l'enfant. Depuis sa naissance, cette dernière a vécu avec sa mère qui en avait la garde. Les parents sont désormais au bénéfice de l'autorité parentale conjointe sur l'enfant. Les parties ont rapidement connu des difficultés liées à l'exercice du droit de visite du père. Une convention réglant ce droit de visite a été signée par les parties le 3 décembre 2009. Le 20 août 2011, l'Autorité de protection de l'enfant et de l'adulte du Littoral et du Val-de-Travers (ci-après: APEA) a fixé à nouveau le droit de visite et institué une curatelle visant à maintenir le lien entre l'enfant et le père et à surveiller l'exercice du droit de visite. A.b. Le 17 février 2016, le père a informé l'APEA qu'il avait emmené sa fille aux urgences pédiatriques la veille afin d'y faire " constater de la maltraitance " et qu'il avait gardé sa fille chez lui en raison de ces faits. A.c. Le 18 février 2016, le Président de l'APEA a indiqué aux parties qu'il prenait acte de l'accord qui semblait exister entre les parents sur le maintien, dans l'immédiat, de la solution consistant à ce que le père assume la garde de l'enfant. La curatrice a été chargée d'adresser un rapport à l'autorité. A.d. Le 17 mars 2016, l'APEA a reçu le constat médical établi par l'Hôpital neuchâtelois le 16 février 2016 au sujet de l'enfant. Ce constat faisait état d'echymoses et d'un hématome sur les bras de l'enfant. Il relevait en outre que, selon les dires de cette dernière, elle aurait reçu des coups de la part de sa mère qui lui aurait en outre mis une fois de l'huile pimentée vers l'anus. Dans des observations du 22 mars 2016, la mère a contesté être à l'origine des blessures constatées qui trouvaient, selon elle, leur cause dans une chute en bob le week-end précédent, alors que l'enfant se trouvait avec son père. Elle a en outre déclaré ne pas être d'accord avec le maintien provisoire de la garde en faveur du père de l'enfant. A.e. Dans son rapport du 6 avril 2016, la curatrice a reconnu pour l'essentiel des capacités éducatives à peu près équivalentes aux deux parents, chacun ayant toutefois besoin de soutien dans cette tâche. La mère rencontrait des difficultés dans l'éducation de sa fille et avait de la peine à gérer les punitions de l'enfant de manière adéquate. Le père avait de la peine à refuser des choses à son enfant et n'avait pas de filtre lorsqu'il s'adressait à elle, notamment lorsqu'il lui parlait de sa mère. La mère était plus disponible dès lors qu'elle travaillait à temps partiel mais le père pouvait s'organiser pour prendre personnellement soin de sa fille lorsque cela était nécessaire puisqu'il travaillait dans l'entreprise familiale. La capacité à favoriser les contacts personnels de l'enfant avec l'autre parent faisait défaut chez les deux parties. L'enfant souhaitait une garde partagée mais était trop jeune pour qu'on lui fasse assumer la responsabilité d'une telle décision. En définitive, la curatrice ne préconisait pas une garde alternée en raison de la mésentente des parents et suggérait le transfert de la garde au père, cette solution paraissant offrir, en terme de protection, le plus de stabilité à l'enfant. Il convenait cependant de prévoir un droit de visite aussi large que possible au bénéfice du parent non gardien. A.f. Le Président de l'APEA a entendu l'enfant le 6 juillet 2016, laquelle a réitéré son souhait de passer alternativement une semaine sur deux chez chacun de ses parents. A.g. Le 19 août 2016, la curatrice a adressé un nouveau rapport à l'APEA indiquant une nouvelle fois que les capacités éducatives des deux parents étaient équivalentes mais qu'aucun d'eux n'avait la capacité de collaborer avec l'autre. Par courrier du 23 janvier 2017, la curatrice a sollicité une décision claire de l'APEA sur la garde. Elle indiquait que la mère peinait à respecter les plannings de visite et souhaitait reprendre sa fille sans autre préavis. Elle maintenait que l'enfant était bien prise en charge par son père et qu'il semblait opportun de régulariser la situation actuelle en transférant officiellement la garde au père tout en octroyant un droit de visite élargi à la mère. A.h. Par décision du 20 mars 2017, l'APEA a notamment instauré une garde partagée entre les parents. B. B.a. Le 27 avril 2017, A._ a recouru contre la décision de l'APEA du 20 mars 2017. B.b. B._ a formé un " appel joint " le 3 juin 2017. Elle a complété son acte le 5 juin 2017, ajoutant une conclusion tendant au changement de curateur. B.c. Par ordonnance du 21 juin 2017, le Président de la Cour des mesures de protection de l'enfant et de l'adulte du Tribunal cantonal du canton de Neuchâtel a déclaré le mémoire d'appel du 3 juin 2017 et son complément du 5 suivant irrecevables. B.d. Par arrêt du 5 septembre 2017, la Cour des mesures de protection de l'enfant et de l'adulte du Tribunal cantonal du canton de Neuchâtel a rejeté le recours interjeté par A._ contre la décision du 20 mars 2017 instaurant une garde partagée sur l'enfant D._. C. Par acte du 9 octobre 2017, A._ forme un recours en matière civile au Tribunal fédéral contre l'arrêt du 5 septembre 2017. Il conclut principalement à la réforme de son dispositif en ce sens que la garde de l'enfant D._ lui est attribuée exclusivement. Subsidiairement, il conclut au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants de l'arrêt à intervenir. Il sollicite également que son recours soit muni de l'effet suspensif. L'intimée a joint une demande d'assistance judiciaire à sa détermination sur la requête d'effet suspensif du recourant. Des déterminations sur le fond n'ont pas été requises. D. La requête d'effet suspensif a été admise par ordonnance présidentielle du 30 octobre 2017.