Faits: A. C._, né hors-mariage le 1er mars 2000, est le fils de A._ et B._. Les parents se sont séparés environ un an après la naissance de leur enfant. L'Autorité tutélaire du district de Neuchâtel a institué une curatelle de surveillance des relations personnelles entre le père et le fils, le 29 juin 2001, puis, le 24 janvier 2008, elle a retiré à la mère la garde de l'enfant et ordonné le placement de celui-ci chez son père. Le recours de la mère contre cette décision a été rejeté par arrêt du 20 mai 2008 de l'Autorité tutélaire de surveillance. B. Les 25 février 2009 et 18 janvier 2010, l'Autorité tutélaire a sollicité le retrait de l'autorité parentale de la mère sur l'enfant et l'attribution de celle-ci au père. L'Autorité tutélaire de surveillance a déclaré la première requête irrecevable par arrêt du 19 juin 2009 et rejeté la seconde le 22 mars 2010, considérant respectivement que la base légale invoquée ne permettait pas le retrait de l'autorité parentale, et que les conditions prévues à l'art. 311 CC n'étaient pas réunies. C. Le 17 mars 2011, l'Autorité de protection de l'enfant et de l'adulte du Littoral et du Val-de-Travers (qui a succédé à l'Autorité tutélaire) a à nouveau requis le retrait de l'autorité parentale de la mère sur l'enfant et son attribution au père. Après avoir entendu l'enfant, la Cour des mesures de protection de l'enfant et de l'adulte a, par arrêt du 22 septembre 2011, retiré à la mère l'autorité parentale sur l'enfant C._ et l'a attribuée au père. Le 24 octobre 2011, la mère a formé appel contre l'arrêt de la Cour des mesures de protection de l'enfant et de l'adulte, concluant à son annulation, subsidiairement au renvoi de la cause à l'autorité de première instance. Dans sa réponse du 15 novembre 2011, le père a conclu au rejet de l'appel de la mère. Statuant par arrêt du 10 février 2012, la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel a rejeté l'appel. D. Par acte du 12 mars 2012, la mère interjette un recours en matière civile au Tribunal fédéral contre cet arrêt. Elle conclut principalement à sa réforme en ce sens qu'elle conserve l'autorité parentale sur son fils, subsidiairement, au renvoi de la cause à l'autorité précédente. La mère sollicite au préalable le bénéfice de l'assistance judiciaire. Invités à se déterminer, le père a déposé des observations et conclu au rejet du recours, l'Autorité de protection de l'enfant et de l'adulte du Littoral et du Val-de-Travers a également conclu au rejet du recours, toutefois sans formuler de remarques, et l'autorité précédente a renoncé à se déterminer et s'est référée aux considérants de son arrêt.