Faits: A. Par jugement du 15 septembre 2011, le Tribunal de police des Montagnes et du Val-de-Ruz a condamné X._, pour deux tentatives d'escroquerie, à 240 jours-amende à 10 fr. le jour avec sursis pendant 2 ans ainsi qu'à une amende additionnelle de 800 fr., correspondant à 8 jours de peine privative de liberté de substitution. Ce jugement a été rendu suite au renvoi ordonné par arrêt de la Cour de cassation pénale du canton de Neuchâtel du 23 février 2011 consécutif à un pourvoi en cassation dirigé contre un premier jugement, du 19 février 2009, du Tribunal correctionnel du district de la Chaux-de-Fonds. Cette dernière autorité avait retenu trois tentatives d'escroquerie à l'encontre de X._, qu'elle avait condamné à une peine privative de liberté de 12 mois avec sursis pendant 3 ans et à une amande additionnelle de 1'500 francs. Dans l'arrêt de renvoi, la Cour de cassation retenait deux tentatives d'escroquerie à l'assurance relativement à des sinistres survenus les 27 mai 2001 et 18 février 2006 et renvoyait la cause en première instance pour nouvelle fixation de la peine. B. Statuant le 12 mars 2012, la Cour pénale du Tribunal cantonal neuchâtelois a rejeté l'appel formé par X._ contre le jugement du 15 septembre 2011 du Tribunal de police des Montagnes et du Val-de-Ruz, qu'elle a confirmé. C. X._ forme un recours en matière pénale contre ce jugement. Il conclut, sous suite de frais et dépens, à son acquittement et éventuellement au renvoi de l'affaire à l'une des deux autorités précédentes.