Faits : A. Par jugement du 31 mars 2016, le Tribunal de police du Littoral et du Val-de-Travers a reconnu X._ coupable de violation des règles de la circulation routière (art. 31 al. 1 cum art. 90 al. 1 de la loi fédérale du 19 décembre 1958 sur la circulation routière [LCR; RS 741.01]) et l'a condamné à une amende de 100 francs. B. Statuant sur appel de X._ contre la décision de première instance, la Cour pénale du Tribunal cantonal neuchâtelois l'a rejeté par jugement du 16 août 2016. Elle a retenu en substance les faits suivants. Le 16 mai 2015 vers 19h25, X._ circulait au volant de son véhicule automobile sur la route cantonale entre Rochefort et Bôle, en direction de Bôle. Juste avant de commencer un virage, il a été confronté à un véhicule circulant en sens inverse et empiétant sur sa piste de sorte qu'il a donné un coup de volant à droite afin d'éviter un choc, ce qui l'a fait mordre sur le bord droit de la route. Par la suite, en l'absence de facteurs extérieurs, il a donné un coup de volant à gauche puis encore un coup de volant à droite, une partie de la trajectoire s'étant effectuée en dérapage sur 55,50 mètres. La voiture a fini sa course 62,20 mètres plus bas, dans le talus sis au sud de la route cantonale. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut, avec suite de frais et dépens, principalement, à son acquittement. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouveau jugement.