Faits:
A. Par jugement du 15 septembre 2011, le Tribunal de police des Montagnes et du Val-de-Ruz a condamné X._, pour deux tentatives d'escroquerie, à 240 jours-amende à 10 fr. le jour avec sursis pendant 2 ans ainsi qu'à une amende additionnelle de 800 fr., correspondant à 8 jours de peine privative de liberté de substitution.
Ce jugement a été rendu suite au renvoi ordonné par arrêt de la Cour de cassation pénale du canton de Neuchâtel du 23 février 2011 consécutif à un pourvoi en cassation dirigé contre un premier jugement, du 19 février 2009, du Tribunal correctionnel du district de la Chaux-de-Fonds. Cette dernière autorité avait retenu trois tentatives d'escroquerie à l'encontre de X._, qu'elle avait condamné à une peine privative de liberté de 12 mois avec sursis pendant 3 ans et à une amande additionnelle de 1'500 francs. Dans l'arrêt de renvoi, la Cour de cassation retenait deux tentatives d'escroquerie à l'assurance relativement à des sinistres survenus les 27 mai 2001 et 18 février 2006 et renvoyait la cause en première instance pour nouvelle fixation de la peine.
B. Statuant le 12 mars 2012, la Cour pénale du Tribunal cantonal neuchâtelois a rejeté l'appel formé par X._ contre le jugement du 15 septembre 2011 du Tribunal de police des Montagnes et du Val-de-Ruz, qu'elle a confirmé.
C. X._ forme un recours en matière pénale contre ce jugement. Il conclut, sous suite de frais et dépens, à son acquittement et éventuellement au renvoi de l'affaire à l'une des deux autorités précédentes.

Considérant en droit:
1. En tant que le recourant conteste l'arrêt du 12 mars 2012, il s'en prend à une décision finale (cf. <ref-law>) prise par une autorité cantonale de dernière instance (cf. <ref-law>) dans une affaire pénale (cf. <ref-law>). Le recours en matière pénale est donc en principe recevable. Le recourant s'en prend aussi à l'arrêt de renvoi rendu le 23 février 2011 par lequel la Cour de cassation pénale avait alors notamment admis sa culpabilité relativement à deux tentatives d'escroquerie et renvoyé l'affaire à l'autorité de première instance pour nouvelle fixation de la peine. Il s'agissait d'une décision incidente qui n'était pas susceptible de recours immédiat au Tribunal fédéral faute de réaliser l'une des exceptions prévues à l'art. 93 al. 1 let. a et b LTF. Une telle décision peut être attaquée par un recours contre la décision finale dans la mesure où elle influe sur le contenu de celle-ci (cf. <ref-law>). Tel est le cas en l'espèce, de sorte que le recours est recevable en tant que le recourant conteste les deux escroqueries mises à sa charge.
2. Le recourant reproche en premier lieu à l'autorité cantonale d'avoir violé l'<ref-law> au motif qu'elle estime ne pas pouvoir entrer en matière sur la réalisation des infractions retenues car elle se considère comme liée par l'arrêt rendu après cassation. Il allègue qu'elle a ainsi méconnu le fait que son pouvoir d'examen était entier lors du second recours alors qu'il ne l'était pas lors du premier recours en cassation.
2.1 Il y a lieu de relever à titre préliminaire que c'est à juste titre que l'autorité cantonale a, conformément à l'<ref-law>, statué en application du CPP, ce qui n'est au demeurant pas remis en cause par le recourant.
2.2 Il ressort de l'arrêt attaqué que l'autorité cantonale a admis que l'appel dont elle était saisie était mal fondé car on ne pouvait reprocher à l'autorité à laquelle la cause avait été renvoyée par l'arrêt du 23 février 2011 de n'avoir pas réexaminé le principe de la culpabilité du recourant pour les deux tentatives d'escroquerie dont il était encore reconnu coupable. Or, cette autorité était liée par les motifs de l'arrêt de renvoi qui confirmait cette culpabilité, de même qu'à sa suite l'autorité d'appel (cf. MARLÈNE KISTLER VIANIN, in Commentaire romand CPP, n. 16 ad art. 409). Il n'appert nullement que l'autorité cantonale aurait ainsi méconnu son pouvoir d'examen. Ce grief est dès lors mal fondé.
3. Le recourant soutient que sa condamnation pour tentative d'escroquerie en relation avec le sinistre de mai 2001 viole l'<ref-law> car sa déclaration à l'assurance est entachée d'un simple mensonge, de sorte que l'élément constitutif de l'astuce n'est pas réalisé.
Aux termes de l'<ref-law>, se rend coupable d'escroquerie celui qui, dans le dessein de se procurer ou de procurer à un tiers un enrichissement illégitime, a astucieusement induit en erreur une personne par des affirmations fallacieuses ou par la dissimulation de faits vrais, ou l'a astucieusement confortée dans son erreur et a de la sorte déterminé la victime à des actes préjudiciables à ses intérêts pécuniaires ou à ceux d'un tiers.
Pour qu'il y ait escroquerie, une simple tromperie ne suffit pas; il faut encore qu'elle soit astucieuse.
L'astuce est réalisée lorsque l'auteur recourt à un édifice de mensonges, à des manoeuvres frauduleuses ou à une mise en scène, mais aussi lorsqu'il donne simplement de fausses informations, si leur vérification n'est pas possible, ne l'est que difficilement ou ne peut raisonnablement être exigée, de même que si l'auteur dissuade la dupe de vérifier ou prévoit, en fonction des circonstances, qu'elle renoncera à le faire (<ref-ruling> consid. 5.2 p. 81 s.; <ref-ruling> consid. 4.4.3 p. 264). L'astuce n'est toutefois pas réalisée si la dupe pouvait se protéger avec un minimum d'attention ou éviter l'erreur avec le minimum de prudence que l'on pouvait attendre d'elle. Il n'est cependant pas nécessaire qu'elle ait fait preuve de la plus grande diligence ou qu'elle ait recouru à toutes les mesures de prudence possibles pour éviter d'être trompée. L'astuce n'est exclue que si la dupe est coresponsable du dommage parce qu'elle n'a pas observé les mesures de prudence élémentaires qui s'imposaient (<ref-ruling> consid. 3a p. 247); une coresponsabilité de la dupe n'exclut l'astuce que dans des cas exceptionnels (<ref-ruling> consid. 5.2 p. 81).
En l'espèce, le recourant admet lui-même avoir « un peu trop poussé » le dommage annoncé. L'autorité cantonale a considéré qu'il avait agi en partant de l'idée qu'eu égard au montant du dommage, de l'ordre de 5'000 fr., la compagnie d'assurances ne procéderait pas à des vérifications, par ailleurs fort difficiles à mettre en oeuvre. Il s'agit d'éléments qui relèvent de l'établissement des faits, qui ne peuvent être revus par le Tribunal fédéral que sous l'angle de l'arbitraire (<ref-ruling> consid. 2.3.2 p. 156) et à condition que ce grief soit soulevé et motivé d'une manière satisfaisant aux exigences de l'<ref-law>, ce qui n'est pas le cas en l'espèce. L'état de fait suffit pour admettre que l'élément constitutif de l'astuce est réalisé. Ce grief est donc mal fondé dans la mesure où il est recevable.
4. S'agissant du dégât d'eau du 18 février 2006, le recourant soutient que les autorités cantonales ont abusé de leur pouvoir d'appréciation et fait preuve d'arbitraire tout en violant la présomption d'innocence et le principe « in dubio pro reo ».
La présomption d'innocence, garantie par les art. 32 al. 1 Cst., 10 CPP, 14 par. 2 du Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe in dubio pro reo, concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2c p. 36 et les références citées).
Comme principe présidant à l'appréciation des preuves, la présomption d'innocence est violée si le juge du fond se déclare convaincu de faits défavorables à l'accusé sur lesquels, compte tenu des éléments de preuve qui lui sont soumis, il aurait au contraire dû, objectivement, éprouver des doutes (<ref-ruling> consid. 2a p. 88; <ref-ruling> consid. 2c p. 37). Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Dans cette mesure, la présomption d'innocence se confond avec l'interdiction générale de l'arbitraire (art. 9 Cst.). En bref, pour qu'il y ait arbitraire, il ne suffit pas que la décision attaquée apparaisse discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4.2 p. 560). L'invocation de l'arbitraire suppose une argumentation claire et détaillée (<ref-law>; <ref-ruling> consid. 3.2). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5; <ref-ruling> consid. 5.1 p. 365).
Le 20 février 2006, le recourant a informé son assurance que le samedi matin 18 février il avait constaté qu'une fuite avait causé des dégâts pour un montant de l'ordre de 80'000 fr. dans son magasin.
Les autorités cantonales sont parvenues à la conclusion que c'est le recourant lui-même qui avait arrosé son magasin.
Le recourant critique les éléments sur lesquels l'autorité cantonale fonde sa conviction et soutient qu'aucun d'eux n'est propre à établir sa culpabilité de sorte qu'en vertu du principe « in dubio pro reo » c'est la version qui lui est la plus favorable qui devait être retenue.
Il ressort de l'arrêt attaqué qu'un important écoulement d'eau s'est produit pendant une certaine durée avant de se tarir spontanément. L'instruction a permis d'écarter l'hypothèse de travaux sur l'installation d'eau à l'étage supérieur au commerce du recourant et les locaux situés à cet étage ont été inspectés sans qu'aucune trace d'inondation n'y soit décelée. Par ailleurs, le recourant, qui a constaté le sinistre le samedi matin, n'a entrepris aucune démarche avant le lundi matin, date à laquelle il en a informé la gérance.
Compte tenu d'une part du fait que le sinistre ne s'explique par aucune cause autre que l'intervention du recourant et d'autre part de la réaction pour le moins curieuse du recourant qui n'a rien entrepris pour rétablir la situation au plus vite, il n'était pas manifestement insoutenable de considérer que c'était bien lui qui était à l'origine de l'inondation. Peu importe qu'une expertise, dont se prévaut le recourant, n'exclue pas l'hypothèse d'un écoulement à travers le plafond. La seule circonstance que la composition chimique de l'eau prélevée dans le magasin du recourant après les faits puisse résulter d'un passage à travers le plafond ne suffit pas pour que l'on doive exclure l'hypothèse, concevable également, qu'elle provienne du fait que l'eau en question a été giclée contre le plafond. De même, les témoignages invoqués par le recourant ne suffisent pas à remettre en question l'appréciation des preuves à laquelle a procédé l'autorité cantonale. C'est à juste titre que celle-ci relève que leur crédibilité est sérieusement compromise par les contradictions qu'ils comportent avec la propre version des faits du recourant.
Dans ces circonstances, il n'y a pas lieu d'examiner séparément chacun des éléments invoqués par le recourant dans une argumentation par ailleurs largement appellatoire. Dès lors que, considérée dans son ensemble, l'appréciation des preuves de l'autorité cantonale n'apparaît pas manifestement insoutenable, à tout le moins dans son résultat, cela suffit pour écarter le grief d'arbitraire et partant de violation de la présomption d'innocence.
Mal fondé, ce grief doit également être rejeté dans la mesure de sa recevabilité.
5. Le recourant reproche enfin à l'autorité cantonale d'avoir violé son droit d'être entendu ainsi que son droit à un procès équitable en refusant l'audition d'un témoin qui aurait, selon lui, permis d'établir que dans le cadre du sinistre annoncé le 20 octobre 2006 il n'avait pas tenté d'escroquer l'assurance. Comme le relève le recourant lui-même, aucune infraction n'a été retenue dans ce cas au motif que l'élément constitutif de l'astuce n'était pas réalisé.
Conformément à l'<ref-law>, la qualité pour former un recours en matière pénale est notamment subordonnée à la condition que l'intéressé ait un intérêt juridique à l'annulation ou à la modification de la décision attaquée. C'est en regard du dispositif de l'arrêt attaqué qu'il faut déterminer si tel est le cas (cf. MARC THOMMEN in Basler Kommentar, Bundesgerichtsgesetz, 2e éd. 2011, n° 13 ad <ref-law>). En effet, le recours en matière pénale n'est pas ouvert pour se plaindre de la seule motivation de l'arrêt attaqué (<ref-ruling> consid. 2e et les arrêts cités). Ainsi, le recourant, qui a été libéré de tout chef d'accusation pour les faits en question par l'arrêt de renvoi du 23 février 2011, n'est pas légitimé à attaquer la motivation de l'arrêt cantonal sur ce point. Ce dernier grief est donc irrecevable.
6. Mal fondé, le recours doit être rejeté dans la mesure où il est recevable et le recourant, qui succombe, supportera les frais de justice (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 28 février 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Paquier-Boinay