Faits :
A.
Par jugement du 31 mars 2016, le Tribunal de police du Littoral et du Val-de-Travers a reconnu X._ coupable de violation des règles de la circulation routière (art. 31 al. 1 cum art. 90 al. 1 de la loi fédérale du 19 décembre 1958 sur la circulation routière [LCR; RS 741.01]) et l'a condamné à une amende de 100 francs.
B.
Statuant sur appel de X._ contre la décision de première instance, la Cour pénale du Tribunal cantonal neuchâtelois l'a rejeté par jugement du 16 août 2016.
Elle a retenu en substance les faits suivants. Le 16 mai 2015 vers 19h25, X._ circulait au volant de son véhicule automobile sur la route cantonale entre Rochefort et Bôle, en direction de Bôle. Juste avant de commencer un virage, il a été confronté à un véhicule circulant en sens inverse et empiétant sur sa piste de sorte qu'il a donné un coup de volant à droite afin d'éviter un choc, ce qui l'a fait mordre sur le bord droit de la route. Par la suite, en l'absence de facteurs extérieurs, il a donné un coup de volant à gauche puis encore un coup de volant à droite, une partie de la trajectoire s'étant effectuée en dérapage sur 55,50 mètres. La voiture a fini sa course 62,20 mètres plus bas, dans le talus sis au sud de la route cantonale.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut, avec suite de frais et dépens, principalement, à son acquittement. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouveau jugement.
Considérant en droit :
1.
Le recours s'ouvre sur une présentation personnelle des faits. Le recourant ne fonde ainsi aucune critique recevable au regard des art. 42 al. 2 et 106 al. 2 LTF. Il ne sera pas tenu compte de ses allégations.
Le recourant conteste avoir violé les règles de la circulation routière en livrant sa propre version des faits et en ajoutant des éléments qui ne ressortent pas du jugement cantonal, sans tenter de démontrer l'arbitraire de leur omission. Un tel procédé est largement appellatoire, partant, irrecevable (art. 97 et 105 al. 2 LTF; cf. ATF 141 I 49 consid. 3.4 p. 53; 142 III 364 consid. 2.4 p. 368 et les références citées).
2.
Le recourant affirme que l'ensemble des manoeuvres réalisées ne peut être qualifié que d'excusable, dès lors que la première l'est et que les suivantes en découlent forcément.
2.1. Aux termes de l'art. 31 al. 1 LCR, le conducteur devra rester constamment maître de son véhicule de façon à pouvoir se conformer aux devoirs de prudence. Cela signifie qu'il doit être à tout moment en mesure de réagir utilement aux circonstances. En présence d'un danger, et dans toutes les situations exigeant une décision rapide, il devra réagir avec sang froid et sans excéder le temps de réaction compatible avec les circonstances. Toutefois, est excusable celui qui, surpris par la manoeuvre insolite, inattendue et dangereuse d'un autre usager ou par l'apparition soudaine d'un animal, n'a pas adopté, entre diverses réactions possibles, celle qui apparaît après coup objectivement comme étant la plus adéquate (cf. arrêt 1C_361/2014 du 26 janvier 2015 consid. 3.1 et références citées). Toute réaction non appropriée n'est cependant pas excusable. Selon la jurisprudence, l'exonération d'une faute suppose que la solution adoptée en fait et celle qui, après coup, paraît préférable, sont approximativement équivalentes et que le conducteur n'a pas discerné la différence d'efficacité de l'une ou de l'autre parce que l'immédiateté du danger exigeait de lui une décision instantanée. En revanche, lorsqu'une manoeuvre s'impose à un tel point que, même si une réaction très rapide est nécessaire, elle peut être reconnue comme préférable, le conducteur est en faute s'il ne la choisit pas (ATF 83 IV 84; cf. également arrêt 1C_361/2014 du 26 janvier 2015 consid. 3.1 et références citées).
2.2. La cour cantonale a considéré que la première manoeuvre consistant à donner un coup de volant à droite, impliquant un déplacement sur le bas-côté de la route afin d'éviter une voiture survenant d'en face, était en elle-même adéquate. Considérant que le déplacement latéral qu'avait entraîné cette manoeuvre ne pouvait être très important (puisque la distance entre la partie goudronnée et les arbres était faible), elle a estimé qu'il devait être possible pour le recourant de revenir sur sa gauche, sans pour autant se retrouver sur la piste de gauche et sans perdre la maîtrise de son véhicule. Elle a qualifié le coup de volant donné à gauche d'inadéquat, à savoir trop fort, puisque le conducteur a dû immédiatement donner un nouveau coup de volant à droite impliquant un dérapage sur plus de 55 mètres. La cour cantonale a ainsi considéré que le recourant avait perdu la maîtrise de son véhicule par l'effet d'une faute très légère sans pour autant qualifier la perte de maîtrise d'excusable.
2.3. En l'espèce, l'on peut admettre que le recourant s'est trouvé dans une situation nécessitant une manoeuvre urgente dès lors qu'une voiture arrivant en sens inverse, empiétait sur sa voie de circulation. Toutefois, le danger n'existait plus, une fois le croisement effectué. Ainsi, le recourant ne saurait se prévaloir des principes développés supra (consid. 2.1) pour justifier son comportement visant à se repositionner correctement sur la chaussée. En tout état, il y a lieu de retenir, à l'instar de la cour cantonale, que le coup de volant donné sur la gauche était trop brusque. Une légère manoeuvre sur la gauche aurait suffi pour se repositionner sur la chaussée et éviter la perte de maîtrise du véhicule. Cette dernière manoeuvre ayant été clairement préférable, le recourant était en faute dès lors qu'il ne l'a pas choisie.
3.
S'il ressort de l'art. 47 CP que le juge doit tenir compte notamment de l'effet de la peine sur l'avenir du prévenu, c'est en vain que le recourant fait état de " conséquences extrêmement néfastes sur son avenir professionnel " pour obtenir un acquittement. Condamné en l'espèce à une amende de 100 fr., le recourant ne saurait invoquer d'atteinte à son avenir sous l'angle de la fixation de la peine.
4.
Il résulte de ce qui précède que le recours doit être rejeté, dans la mesure où il est recevable, aux frais du recourant qui succombe (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 24 juillet 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke