Faits : A. A._ est propriétaire d'un hangar à tourbe sis sur l'article yyy du cadastre de U._. Cet immeuble est assuré auprès de l'Etablissement cantonal d'assurance et de prévention du canton de Neuchâtel (ci-après: l'Etablissement cantonal ou l'assureur) pour une valeur à neuf de 153'504 fr. Le 7 mars 2009, ce bâtiment s'est partiellement effondré. Dans la déclaration de sinistre du 17 mars 2009, A._ a indiqué que cet événement avait été causé par un glissement ou le poids de la neige sur le toit. Elle précisait qu'une semaine auparavant, elle avait déblayé les toits des immeubles se trouvant sur sa propriété et avait estimé que celui du hangar n'était pas trop enneigé. A._ a fourni à l'Etablissement cantonal un devis du 16 avril 2009 relatif à la reconstruction du bien se montant à 93'249 fr. Relevant que, durant la période considérée, seuls des édifices ayant présenté des faiblesses en rapport avec leur âge ou leur conception avaient été endommagés, l'assureur a proposé, en date du 15 mai 2009, d'indemniser l'intéressée à hauteur de 80'000.- fr., ainsi que de prendre en charge les frais de déblais jusqu'à 8'000.- fr. au maximum. A._ a refusé au motif que le coût des travaux serait finalement plus élevé que prévu, la commune de U._ interdisant la construction de nouveaux bâtiments à un seul pan de toit. Sur la base d'un nouveau devis s'élevant à 126'000 fr., A._ a demandé à être indemnisée à hauteur de 85 % du dommage, ce qui correspondait au pourcentage proposé par l'Etablissement cantonal pour le premier devis. Elle a donc requis le versement de 107'100 fr., augmentés de 8'000 fr. pour les frais de déblais. Par courrier du 27 avril 2010, l'assureur a confirmé sa prise de position du 15 mai 2009. Il a considéré que la vétusté du hangar avait très largement contribué au dommage; il acceptait néanmoins d'entrer en matière sur une indemnisation équivalent environ au 50 % de la valeur à neuf du hangar, soit 80'000 fr., en précisant que cette somme ne correspondait pas à un pourcentage du devis de reconstruction initial, mais à une indemnité maximale. A._ émettant une nouvelle prétention, l'Etablissement cantonal a mandaté B._, afin de procéder à une expertise. Selon le rapport du 28 mai 2010, établi par C._, ingénieur HES en construction bois, le sinistre du 7 mars 2009 était consécutif à des défauts de construction, respectivement au non-respect des règles de l'art de construire, ainsi qu'à un manque d'entretien malgré des signes précurseurs. L'assureur, par courriers des 17 juin et 24 septembre 2010, a alors exclu toute indemnisation, concluant que le dommage subi n'était pas dû aux éléments naturels. B. La Chambre d'assurance immobilière a, par décision du 29 août 2012, confirmé le refus de l'Etablissement cantonal. Elle avait au préalable requis une nouvelle expertise de D._, ingénieur civil EPFL-SIA du bureau E._ SA, dont le rapport du 21 octobre 2011 et le complément du 21 mars 2012 confirmaient en grande partie les conclusions de l'expertise précédente et concluaient à des défauts de construction. Par arrêt du 24 octobre 2013, le Tribunal cantonal du canton de Neuchâtel a rejeté le recours de A._. Après avoir constaté que le droit d'être entendu de l'intéressée n'avait pas été violé, cette autorité a estimé que le dommage litigieux, dû selon les experts à une déformation du bâtiment préexistante au sinistre, n'était pas prévisible. Dès lors, l'autorité précédente n'était pas fondée à refuser toute indemnisation sur la base de l'art. 25 let. b de la loi neuchâteloise du 29 avril 2003 sur la prévention et l'assurance des bâtiments (LAB ou la loi sur l'assurance des bâtiments; RS/NE 863.10) selon lequel les dommages prévisibles, qui auraient pu être évités par des mesures appropriées, ne sont pas couverts. En revanche, l'assureur pouvait exclure une indemnisation sur la base de l'art. 25 let. a LAB, les dégâts n'étant pas dus à une action d'une violence extraordinaire, puisque le poids de la neige sur le toit du hangar n'était pas excessif. Finalement, en proposant initialement le versement de 80'000 fr. pour ensuite refuser tout dédommagement, l'assureur n'avait pas violé le principe de la bonne foi. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, de dire que l'Etablissement cantonal doit lui allouer une indemnité d'au moins 80'000 fr. et prendre en charge les frais inhérents aux déblais à hauteur de 8'000 fr.; subsidiairement de renvoyer l'affaire au Tribunal cantonal pour instruction complémentaire afin qu'il soit, en particulier, procédé à l'audition de témoin requise. Le Tribunal cantonal se réfère à son arrêt et conclut au rejet du recours. L'Etablissement cantonal n'a pas déposé d'observations.