Faits:
A. Par arrêté du 29 avril 2010, paru dans la Feuille officielle du canton de Neuchâtel (ci-après: la Feuille officielle) du 7 mai 2010, le Conseil général de la commune de La Tène a publié la demande d'un crédit de 1'900'000 francs pour reconstruire le bâtiment sanitaire du camping de La Tène. Le référendum lancé contre cet arrêté a abouti dans le délai utile. Il a été demandé par des électeurs, qui considéraient que les montants à investir étaient démesurés notamment au regard de la situation déficitaire de la commune, alors qu'une remise en état des installations selon une rénovation douce serait moins dispendieuse. L'arrêté du 29 avril 2010 a été accepté par 817 oui contre 800 non, 20 bulletins blancs et un bulletin nul, lors de la votation du 28 novembre 2010. Les résultats du scrutin ont été publiés dans la Feuille officielle du 3 décembre 2010.
B. A._ a recouru contre le résultat de la votation auprès de la Chancellerie d'Etat du canton de Neuchâtel (ci-après: la Chancellerie), demandant l'annulation du scrutin. Lors de l'instruction du recours, le service juridique de l'Etat de Neuchâtel a opéré un recomptage des bulletins de vote, lequel a abouti au même résultat que celui paru dans la Feuille officielle du 3 décembre 2010. Par décision du 3 février 2011, la Chancellerie a rejeté le recours du prénommé. Elle a écarté l'ensemble des griefs relatifs au comptage des bulletins, au caractère trompeur de l'arrêté et de la campagne du Conseil communal ainsi qu'au choix d'un architecte sans procéder par appel d'offres.
Le 8 février 2011, A._ a recouru contre cette décision, en demandant la récusation de la Chancelière B._, au motif que celle-ci était intervenue durant la campagne pour donner des recommandations à la commune à plusieurs reprises. Il a aussi allégué s'être présenté le jour même à la Chancellerie et avoir demandé à pouvoir examiner le dossier à son domicile, afin de décider si un recours était envisageable. Il lui a été proposé de consulter le dossier sur place, et précisé que seuls les mandataires pouvaient se voir remettre les dossiers. Dans ses observations complémentaires du 7 mars 2011, le prénommé a requis l'annulation du scrutin du 28 novembre 2010. Par arrêt du 12 mai 2011, la Cour de droit public du Tribunal cantonal du canton de Neuchâtel (ci-après: le Tribunal cantonal ou la Cour de droit public) a rejeté le recours, dans la mesure de sa recevabilité.
C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du 12 mai 2011, la décision du 3 février 2011 ainsi que la votation du 28 novembre 2010.
Le Tribunal cantonal, le Conseil communal de la commune de La Tène et la Chancellerie concluent au rejet du recours. Le recourant a répliqué par courrier du 23 septembre 2011.
Considérant en droit:
1. Selon l'art. 82 let. c LTF, le Tribunal fédéral connaît des recours concernant le droit de vote des citoyens ainsi que les élections et votations populaires. Cette voie de recours permet en particulier au citoyen de contester le résultat d'une votation communale.
1.1 Citoyen actif de la commune de La Tène, le recourant a la qualité pour recourir, au sens de l'art. 89 al. 3 LTF.
1.2 Le mémoire de recours doit contenir les conclusions et les motifs à l'appui de celles-ci (art. 42 al. 1 LTF) sous peine d'irrecevabilité. Les conclusions doivent indiquer sur quels points la décision est attaquée et quelles sont les modifications demandées (ATF 133 III 489 consid. 3.1 et les arrêts cités). Les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit (art. 42 al. 2 LTF). Pour satisfaire à ces exigences, le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (ATF 134 V 53 consid. 3.3 p. 60; 133 II 249 consid. 1.4.2 p. 254; 133 IV 286 consid. 1.4 p. 287). Les critiques de nature appellatoire sont irrecevables (cf. ATF 133 III 585 consid. 4.1; 130 I 258 consid. 1.3 et les arrêts cités).
1.3 Le recourant requiert la production du dossier complet du Tribunal cantonal. Sa requête est satisfaite, la Cour de droit public ayant déposé le dossier cantonal complet dans le délai que le Tribunal fédéral lui avait imparti à cette fin (cf. art. 102 al. 2 LTF).
2. Le recourant expose certains faits qui ne ressortent pas de l'arrêt attaqué.
2.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (art. 97 al. 1 LTF; ATF 137 I 58 consid. 4.1.2 p. 62; Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4135), ce qu'il lui appartient de démontrer par une argumentation répondant aux exigences de l'art. 42 al. 2 LTF, respectivement de l'art. 106 al. 2 LTF.
En l'espèce, le recours ne comporte aucune démonstration du caractère arbitraire de l'état de fait de la décision attaquée, de sorte qu'il n'y a pas lieu de prendre en considération d'autres faits que ceux retenus dans ladite décision. Il en va notamment ainsi du fait que le recourant n'aurait pas été informé de la possibilité d'effectuer des photocopies du dossier.
2.2 Le recourant se plaint aussi, pour la première fois devant le Tribunal fédéral, d'une violation de son droit d'être entendu, au motif que les déterminations déposées par la commune le 12 janvier 2011 auprès de la Chancellerie ne lui ont jamais été transmises. Ce fait n'ayant pas été constaté par l'instance précédente, il est exclu, en raison de la prohibition de la présentation de faits et moyens de preuve nouveaux devant le Tribunal fédéral (art. 99 al. 1 LTF), d'entrer en matière sur un argument juridique nouveau s'il implique le complètement de l'administration des preuves et des constatations de fait (ATF 134 III 643 consid. 5.3.2 p. 651; 130 III 28 consid. 4.4 p. 34; ATF 129 III 135 consid. 2.3.1 p. 144). Ce grief est donc irrecevable.
Il en va de même du reproche que fait le recourant au Conseil communal de La Tène d'avoir exercé une propagande incompatible avec son devoir d'objectivité, notamment en invitant à trois reprises les citoyens de la commune à visiter les installations sanitaires du camping afin de préciser les objectifs de la reconstruction et en offrant un apéritif à ces occasions. En effet, le recourant n'a pas fait valoir ce grief devant le Tribunal cantonal, de sorte que ce fait n'a pas été établi par l'arrêt attaqué et qu'il ne peut être pris en compte devant le Tribunal de céans.
3. Le recourant se prévaut ensuite d'une violation de son droit à la consultation du dossier.
3.1 Le droit de consulter le dossier est un aspect du droit d'être entendu garanti par l'art. 29 al. 2 Cst. (ATF 132 II 485 consid. 3.2 p. 494). Le droit d'accès au dossier ne comprend, en règle générale, que le droit de consulter les pièces au siège de l'autorité, de prendre des notes (ATF 122 I 109 consid. 2b p. 112, 115 Ia 293 consid. 5 p. 302-303) et, pour autant que cela n'entraîne aucun inconvénient excessif pour l'administration, de faire des photocopies (ATF 117 Ia 424 consid. 28 p. 429, 116 Ia 325 consid. 3d/aa). En revanche, il ne confère pas le droit de se voir notifier les pièces du dossier à domicile (ATF 116 I 326 consid. 3d p. 327; 108 Ia 5 consid. 2b p. 8; Michele Albertini, Der verfassungsmässige Anspruch auf rechtliches Gehör im Verwaltungsverfahren des modernen Staates, 2000, p. 249 ss).
Par ailleurs, l'art. 22 de la loi cantonale sur la procédure et la juridiction administratives du 27 juin 1979 (LPJA; RSN 152.130) prévoit que "les parties ou leur représentant ont le droit de consulter les pièces du dossier au siège de l'autorité appelée à statuer. L'autorité délivre aux parties copie des pièces qu'elles requièrent contre émolument". L'art. 22 al. 1 de la loi sur la transparence des activités étatiques du 28 juin 2006 (LTAE; RSN 150.50) dispose en outre que, sous réserve de dispositions spéciales contraires, l'accès aux documents officiels comprend la consultation sur place et cas échéant l'obtention de copies.
3.2 En l'occurrence, le recourant méconnaît la portée du droit à la consultation du dossier. Dès lors qu'il a eu l'occasion de consulter le dossier de la procédure au siège de l'autorité, ce qu'il ne conteste pas, son droit d'être entendu n'a pas été violé. Partant, le Tribunal cantonal a retenu à juste titre que la Chancellerie s'était conformée aux dispositions constitutionnelles et légales ainsi qu'à l'usage précités. Le recourant ne prétend d'ailleurs pas qu'il aurait demandé ou qu'il se serait vu refuser des photocopies qu'il aurait pu obtenir contre un émolument. C'est en outre en vain qu'il fait valoir que le Tribunal cantonal aurait dû lui proposer "de passer au greffe pour consulter le dossier et de demander des photocopies des pièces essentielles".
3.3 Le recourant s'en prend aussi à la pratique des autorités neuchâteloises d'envoyer les pièces du dossier aux avocats mandatés. Cet usage est en effet admis en procédure administrative neuchâteloise (Robert Schaer, Juridiction administrative neuchâteloise, 1995, ad art. 22 LPJA p. 105). L'intéressé fait valoir à cet égard une inégalité de traitement entre les citoyens représentés par un avocat et les autres.
Un traitement différent se justifie cependant en raison de la confiance qui résulte du statut de l'avocat et des nécessités d'une défense efficace des justiciables (ATF 122 I 109 consid. 2b p. 113; 120 IV 242 consid. 2c p. 244). S'ajoute à cela le fait que les avocats sont soumis à une surveillance disciplinaire particulière et offrent, par rapport aux personnes privées, des garanties plus élevées que les actes seront restitués à l'autorité dans leur intégralité et sans changement, et qu'ils ne seront pas remis à des tiers non autorisés (ATF 123 II 534 consid. 3d p. 541; 108 Ia 5 consid. 3 p. 8). Le grief de la violation du droit à l'égalité de traitement doit donc être écarté.
3.4 Enfin, le recourant reproche à la Chancellerie de ne pas avoir rendu de décision formelle sur le refus de consulter le dossier à domicile. Il est malvenu de s'en plaindre devant le Tribunal de céans, d'une part parce qu'il n'a pas sollicité une telle décision et d'autre part, parce qu'il a pu faire valoir ce grief devant le Tribunal cantonal, qui l'a examiné avec un plein pouvoir d'examen. Entièrement mal fondé, ce grief doit être rejeté.
4. Le 8 février 2011, soit le lendemain de la réception de la décision de la Chancellerie, le recourant a demandé la récusation de la Chancelière. Le Tribunal cantonal a déclaré ce grief irrecevable, au motif que la demande de récusation était tardive: ayant eu connaissance de l'autorité de recours et de sa composition au plus tard lors du dépôt de son mémoire auprès de la Chancellerie le 3 décembre 2010, le recourant aurait dû présenter sa demande de récusation à ce moment-là, en vertu de l'art. 12 al. 2 LPJA, à teneur duquel "la demande de récusation doit être présentée sans délai à l'autorité de décision".
Le recourant ne discute pas les motifs avancés dans l'arrêt attaqué. Comme s'il plaidait devant une cour d'appel, il se contente d'affirmer que la Chancelière aurait dû se récuser d'office. Il avance encore qu'il lui était impossible de déposer la demande de récusation avant le 8 février 2011, faute de "savoir qui allait traiter [son] recours". Fût-il recevable, cet argument doit être écarté, puisque le recourant a adressé son recours du 3 décembre 2010 à "Madame la Chancelière".
5. Sur le fond, le recourant fait valoir des irrégularités dans le dépouillement des bulletins de vote. Le Tribunal cantonal a écarté ces griefs, en renvoyant à la décision du 3 février 2011, dans laquelle la Chancellerie a examiné ces points de manière circonstanciée et convaincante.
Dans son recours, le recourant ne se prononce cependant pas sur les éléments qui ont conduit le Tribunal cantonal et la Chancellerie à rejeter ses griefs: il se contente de substituer sa propre appréciation à celle effectuée par les autorités cantonales. L'argumentation du recourant ne va, en réalité, pas au-delà de la simple présentation, faite du reste sur un mode purement appellatoire, de sa propre version des faits. Faute de motivation satisfaisant aux exigences de l'art. 42 al. 2 LTF (cf. consid. 1.2), les griefs doivent être déclarés irrecevables.
6. Il s'ensuit que le recours doit être rejeté, dans la mesure de sa recevabilité. Le recourant, qui succombe, doit supporter les frais judiciaires (art. 65 et 66 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure de sa recevabilité.
2. Les frais judiciaires, arrêtés à 1'000 francs, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, à la Commune de La Tène, à la Chancellerie d'Etat et à la Cour de droit public du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 16 décembre 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Tornay Schaller