Faits:
A.
Par ordonnance pénale du 23 février 2009, le juge d'instruction du district de Sion a prononcé un non-lieu s'agissant de l'instruction ouverte pour utilisation abusive d'une installation de télécommunication. Il a condamné A.A._ pour violation d'une obligation d'entretien et violation de domicile.
A.A._ a fait opposition à cette décision. Par ordonnance du 6 avril 2010, il a été inculpé par le juge d'instruction du district de Sion pour menaces, violation d'une obligation d'entretien et violation de domicile. Il a ensuite été renvoyé en jugement devant le Tribunal du district de Sion.
B.
Par jugement du 7 mars 2012, le juge II du district de Sion a reconnu A.A._ coupable de menaces, violation de domicile et violation d'une obligation d'entretien. Il l'a condamné à 160 heures de travail d'intérêt général, avec sursis durant trois ans, et à une amende de 1'000 fr., la peine privative de liberté de substitution étant fixée à 10 jours.
C.
Par jugement du 23 juillet 2013, la Cour pénale I du Tribunal cantonal du canton du Valais a partiellement admis l'appel formé par A.A._, l'a acquitté du chef d'accusation de violation d'une obligation d'entretien et l'a reconnu coupable de menaces et de violation de domicile. Elle l'a condamné à 100 heures de travail d'intérêt général, avec sursis durant trois ans, et à une amende de 600 fr., la peine privative de liberté de substitution étant fixée à 6 jours.
D.
A.A._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut à la réforme du jugement du 23 juillet 2013 en ce sens qu'il est acquitté, subsidiairement à l'annulation de cette décision et au renvoi de la cause à l'autorité cantonale pour nouveau jugement.

Considérant en droit:
1.
Le recourant reproche à l'autorité précédente d'avoir fait preuve d'arbitraire en retenant qu'il avait été condamné par ordonnance du juge d'instruction du district de Sion du 23 février 2009 non seulement pour violation d'une obligation d'entretien et violation de domicile mais également pour menaces. Il estime qu'en ne le condamnant pas pour menaces, le juge d'instruction du district de Sion a implicitement classé cette partie du dossier. Il ne pouvait par conséquent plus être poursuivi pour ce chef d'infraction.
Il est exact que l'ordonnance du 23 février 2009 ne condamnait pas le recourant pour menaces. Cela dit, cette ordonnance ne mentionne ni ce chef d'accusation, ni les faits y afférent. Ceux-ci se sont déroulés à un autre moment que les autres comportements, distincts, reprochés au recourant et traités dans l'ordonnance du 23 février 2009. Le recourant reconnaît lui-même que l'infraction de menaces n'a été ni prise en compte, ni évoquée dans cette ordonnance (déclaration d'appel p. 9 et recours p. 2 ch. 2 et p. 7). A cela s'ajoute que cette ordonnance comprend expressément un non-lieu concernant un autre chef d'accusation, de sorte qu'un classement implicite apparaît, de manière générale, encore moins plausible. Dans ces circonstances, le silence de l'ordonnance du 23 février 2009 s'agissant de l'accusation de menaces ne saurait être interprété comme un classement implicite de ce chef d'accusation. Le grief est infondé.
2.
Le recourant a été condamné pour menaces pour avoir, le 5 juillet 2008, brandi depuis son véhicule vers l'intimée, désormais son ex-épouse, une arme factice, imité le bruit de coups de feu et ajouté à l'intention de l'intimée qu'il s'agissait "d'un avertissement". Il invoque que les autorités précédentes auraient violé son droit d'être entendu en refusant de verser au dossier un lot d'armes factices.
2.1. Le droit d'être entendu, tel qu'il est garanti par les art. 3 al. 2 let. c et 107 CPP ainsi que 29 al. 2 Cst., comprend pour le justiciable le droit d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 4.3.2 p. 469). En procédure pénale, l'<ref-law> prévoit qu'il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité pénale ou déjà suffisamment prouvés. Le législateur a ainsi consacré le droit des autorités pénales de procéder à une appréciation anticipée des preuves. Le magistrat peut renoncer à l'administration de certaines preuves, notamment lorsque les faits dont les parties veulent rapporter l'authenticité ne sont pas importants pour la solution du litige. Ce refus d'instruire ne viole le droit d'être entendu que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 5.3 p. 236; sur la notion d'arbitraire, v. <ref-ruling> consid. 2.1 p. 18 s.). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise (<ref-law>).
2.2. L'autorité de première instance a refusé l'édition d'armes factices en plastique, correspondant aux jouets des enfants du recourant, au motif que ces pièces ne permettraient pas de déterminer l'objet précisément utilisé, que le dossier démontrait déjà qu'il ne s'agissait pas d'une arme réelle mais bien d'un jouet en plastique en forme d'arme de poing, qu'il n'était donc ni possible d'en savoir plus par le dépôt de ces pièces ni nécessaire de le faire. Par décision du 21 mai 2013, le juge de la Cour pénale I du Tribunal cantonal valaisan a fait sien ce raisonnement. Il a également considéré que le recourant n'avait pas indiqué dans quelle mesure l'arme prétendument utilisée pour menacer l'intimée le 5 juillet 2008 se distinguait d'un jouet quelconque, qu'il convenait d'admettre par conséquent qu'il s'agissait d'un jouet ordinaire, que la preuve requise concernait ainsi un fait notoire, voire non pertinent, dans la mesure où tout un chacun peut se représenter l'allure d'une arme factice et que la production d'une telle pièce n'était donc pas nécessaire à la formation de la conviction du juge.
2.3. Le recourant ne conteste pas ce raisonnement, comme les exigences posées par l'art. 106 al. 2 Cst. le lui imposaient. Son raisonnement d'ordre purement appellatoire et dès lors le grief de violation de son droit d'être entendu sont irrecevables. Au demeurant, le dépôt d'un lot d'armes factices n'ajouterait rien à la cause, l'autorité précédente ayant déjà admis qu'il s'agissait d'un pistolet en plastique et le caractère factice de l'arme n'enlevant rien au caractère menaçant du comportement adopté par le recourant (jugement attaqué, p. 17 ch. 6.2 et cf. infra consid. 4.2).
3.
Le recourant se plaint d'une constatation arbitraire des faits et invoque une violation de la présomption d'innocence.
3.1. Ce dernier moyen, tel qu'il est motivé, n'a pas de portée propre par rapport à celui d'arbitraire dans la constatation des faits (<ref-ruling> consid. 7 p. 82).
3.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). La partie recourante ne peut ainsi critiquer ces faits que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 10.1 p. 445).
3.3. S'agissant de sa condamnation pour menace (cf. supra consid. 2), le recourant reproche à l'autorité précédente d'avoir retenu la version de l'intimée et non la sienne. On comprend qu'il estime que la manière dont l'intimée a indiqué avoir réagi serait incompatible avec les accusations de cette dernière d'avoir été menacée par une arme qu'elle ignorait factice. En outre, la version de l'intimée ne serait corroborée par aucun autre élément au dossier. Le recourant soutient également que l'intimée n'a pas été effrayée.
L'autorité précédente a constaté que l'intimée, après que le recourant eut brandi une arme factice dans sa direction, imité le bruit de coups de feu et ajouté à son adresse qu'il s'agissait "d'un avertissement", a suivi, à pied, le véhicule du recourant, dans lequel se trouvait aussi leur fils, jusqu'à ce qu'il s'arrête. La cour cantonale a retenu, que l'intimée avait été indubitablement alarmée. L'intimée a déposé plainte pénale, par l'intermédiaire de son conseil, deux jours ouvrables plus tard (jugement attaqué, p. 15 ch. 5.2 et p. 17 ch. 6.2).
Au vu de ce qui précède, la manière dont a réagi en apparence calmement l'intimée n'était pas incompatible, compte tenu notamment de la présence de son fils dans le véhicule, avec le comportement menaçant dénoncé. Devant les autorités pénales, le recourant a toujours nié les faits. Il avait néanmoins admis dans un courrier à son avocat avoir dirigé une arme factice en direction de l'intimée et l'avoir fait cliqueter "innocemment" (jugement attaqué, p. 15 ch. 5.1.3). De tels propos corroborent les déclarations de l'intimée. Le grief d'arbitraire quant à la valeur probante donnée à ces déclarations et la constatation des faits qui en a découlé est ainsi infondé. Pour le surplus, la réaction en apparence calme de l'intimée ne rend pas à elle seule arbitraire le fait, retenu par l'autorité précédente, que l'intimée a été alarmée par le comportement du recourant. Une telle peur ressort en outre des déclarations de l'intimée à la police, selon lesquelles immédiatement après la menace elle n'était "pas tranquille du tout", s'était opposée à ce que son fils monte dans le véhicule du recourant avant d'attendre, à côté du véhicule, qu'il en ressorte pour rentrer avec lui à la maison (audition de l'intimée du 19 septembre 2008, p. 2; pièce 80). Ici encore, le grief d'arbitraire est infondé.
3.4. Le recourant conteste les faits retenus à l'appui de sa condamnation pour violation de domicile. Il s'appuie sur des faits ne résultant pas du jugement attaqué, sans invoquer l'arbitraire de leur omission, et présente une argumentation purement appellatoire, prétendant notamment que l'interdiction d'entrer prononcée par l'intimée n'aurait pas été suffisamment claire. Tel que motivé, son moyen est irrecevable. Le grief de violation de l'<ref-law>, fondé sur sa version des faits, divergente de celle retenue sans arbitraire par l'autorité précédente, suit le même sort.
4.
Le recourant conteste sa condamnation pour menaces. Son comportement n'aurait pas alarmé l'intimée et il ne revêtait pas une gravité suffisante pour tomber sous le coup de l'<ref-law>.
4.1. L'<ref-law> réprime le comportement de celui qui, par une menace grave, aura alarmé ou effrayé une personne. Sur le plan objectif, la punition de l'infraction de menaces suppose la réalisation de deux conditions. Premièrement, il faut que l'auteur ait émis une menace grave, soit une menace objectivement de nature à alarmer ou à effrayer la victime. On tient compte de la réaction qu'aurait une personne raisonnable, dotée d'une résistance psychologique plus ou moins normale, face à une situation identique (cf. arrêt 6B_192/2012 du 10 septembre 2012 consid. 1.1). L'exigence d'une menace grave doit conduire à exclure la punissabilité lorsque le préjudice évoqué apparaît objectivement d'une importance trop limitée pour justifier la répression pénale ( BERNARD CORBOZ, Les infractions en droit suisse, vol. I, 3e éd., 2010, n° 9 ad <ref-law>). En second lieu, il faut que la victime ait été effectivement alarmée ou effrayée. L'infraction est intentionnelle, le dol éventuel est suffisant.
4.2. Au moment des faits, le recourant et l'intimée étaient divisés par un conflit de droit matrimonial important. L'intimée et son concubin avaient tous deux déposé plainte pénale contre le recourant quelque six mois auparavant. Dans ces circonstances, le fait pour ce dernier de diriger une arme, même factice, dans la direction de l'intimée et de faire semblant de tirer en indiquant qu'il s'agissait d'un avertissement, soit en sous-entendant qu'il pourrait lui tirer réellement dessus dans le futur, était sans conteste objectivement de nature alarmante et donc grave au sens de l'<ref-law>. L'autorité cantonale a retenu sans arbitraire que l'intimée avait été effrayée (cf. supra consid. 3.3). La deuxième condition objective est ainsi également réalisée. Le grief de violation de l'<ref-law> formulé par le recourant est infondé.
5.
Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).
Il n'y a pas lieu d'allouer d'indemnité à l'intimée qui n'a pas été invitée à déposer de mémoire dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour pénale I.
Lausanne, le 28 avril 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod