Faits :
A.
Par jugement du 6 décembre 2016, le Tribunal de police de l'arrondissement de l'Est vaudois a libéré X._ du chef d'accusation de voies de fait.
B.
Statuant sur l'appel de A._, partie plaignante, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud l'a admis partiellement par jugement du 14 mars 2017. Elle a déclaré X._ coupable de voies de fait et l'a condamné à une amende de 800 fr.
En substance, son arrêt se fonde sur les faits suivants.
Le 26 mars 2015, dans les locaux de l'entreprise B._, une altercation a opposé X._ à une de ses employées, A._, au cours de laquelle l'intéressé a retenu son employée par le bras pour l'empêcher de sortir de la salle dans laquelle elle se trouvait, en attendant que la police, qu'il avait fait appeler, arrive. A._ a crié pour que son employeur la lâche. X._ est ensuite sorti de la pièce, dont la porte était restée ouverte, et a demandé à un autre employé de rester avec l'intéressée.
C.
X._ interjette un recours en matière pénale contre le jugement du 14 mars 2017. Il conclut, sous suite de frais et dépens, principalement, à l'admission du recours et à la réforme du jugement entrepris, en ce sens que le jugement de première instance est confirmé et que A._ est condamnée aux frais de la procédure d'appel, ainsi qu'au paiement d'une indemnité en application de l'<ref-law> pour les dépenses occasionnées dans le cadre de la procédure d'appel. Subsidiairement, il conclut, pour l'essentiel, à la réforme du jugement en ce sens qu'il est constaté qu'il a agi de manière licite au sens de l'art. 14 et/ou 17 CP et qu'il est libéré du chef d'accusation de voies de fait. Plus subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'instance précédente.

Considérant en droit :
1.
Invoquant l'<ref-law>, le recourant se plaint d'un établissement inexact des faits, de violations de l'interdiction de l'arbitraire ainsi que du principe in dubio pro reo.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire dans la constatation des faits (sur cette notion, <ref-ruling> consid. 3.4 p. 53 et 140 I 201 consid. 6.1 p. 205).
La présomption d'innocence, garantie par les art. 32 al. 1 Cst., 10 CPP, 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe in dubio pro reo, concernent tant l'appréciation des preuves que le fardeau de la preuve (<ref-ruling> consid. 2a p. 40 s.; <ref-ruling> consid. 2c p. 36 s.; arrêt 6B_58/2016 du 18 août 2016 consid. 2.1). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe in dubio pro reo, celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82 s.). En tant que règle sur le fardeau de la preuve, la présomption d'innocence signifie, au stade du jugement, que ce fardeau incombe à l'accusation et que le doute doit profiter au prévenu. C'est ainsi à l'accusation d'établir la culpabilité du prévenu, et non à celui-ci de démontrer qu'il n'est pas coupable. La présomption d'innocence est violée lorsque le juge rend un verdict de culpabilité au seul motif que le prévenu n'a pas prouvé son innocence (<ref-ruling> consid. 2a p. 40; arrêt 6B_58/2016 du 18 août 2016 consid. 2.1).
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3 p. 266).
Lorsque le recours au Tribunal fédéral est dirigé contre une décision d'une autorité cantonale de dernière instance dont le pouvoir d'examen est, comme en l'espèce, limité à l'arbitraire en matière de constatation des faits (<ref-law>), l'examen du Tribunal fédéral porte concrètement sur l'arbitraire du jugement de l'autorité inférieure, à la lumière des griefs soulevés dans l'acte de recours. Pour se conformer aux exigences de motivation rappelées ci-dessus, le recourant doit exposer pourquoi l'autorité cantonale aurait à tort admis ou nié l'arbitraire dans l'appréciation des preuves faite par l'autorité de première instance. Le Tribunal fédéral se prononce librement sur cette question (arrêts 6B_322/2014 du 26 juin 2014 consid. 1.4; 6B_1247/2014 du 13 mars 2014 consid. 1.2; cf. <ref-ruling> consid. 1a/cc et 1b p. 495 et les arrêts cités).
1.2. Le recourant reproche à l'instance précédente d'avoir privilégié la version qui lui était la moins favorable, soit que celui-ci a retenu le bras de l'intimée, dans le but de la contraindre à rester et non dans le but de l'apaiser, comme il le prétend. L'intimée aurait pourtant elle-même admis que le recourant lui aurait dit de se calmer alors qu'il la tenait par le bras.
L'instance précédente a relevé que, lors de ses déclarations, le prévenu avait avoué qu'il avait retenu l'intimée par le bras pour l'empêcher de partir. En outre, il ressort de l'arrêt attaqué que la seule témoin a non seulement déclaré avoir vu le prévenu retenir l'intimée mais a également dit qu'elle avait entendu l'intimée crier au recourant de la lâcher. L'instance précédente pouvait dès lors en déduire que si le prévenu a demandé à l'intimée de se calmer c'est parce que celle-ci ne supportait pas qu'il la tienne.
1.3. L'instance précédente n'a donc pas versé dans l'arbitraire en concluant que le recourant n'avait pas retenu l'intimée dans un but d'apaisement mais pour l'empêcher de partir.
Pour le reste, le recourant rediscute les déclarations de la témoin, soutient que le comportement de l'intimée le jour de l'altercation était ambigu et qu'elle aurait agi par la voie pénale pour étayer son litige pendant par-devant le Tribunal des Prud'hommes. Ce faisant, le recourant tente d'imposer son appréciation des preuves, sans démontrer en quoi l'instance précédente aurait établi les faits de manière insoutenable.
2.
Le recourant se plaint d'une violation de l'<ref-law>. Il estime que c'est à tort que l'instance précédente a retenu qu'il s'était rendu coupable d'un geste qui n'était pas socialement tolérable, en saisissant le bras de l'intimée et en la retenant par la force.
2.1. Les voies de fait, réprimées par l'<ref-law>, se définissent comme des atteintes physiques qui excèdent ce qui est socialement toléré et qui ne causent ni lésions corporelles, ni dommage à la santé. Une telle atteinte peut exister même si elle n'a causé aucune douleur physique (<ref-ruling> consid. 1.2 p. 191 et les références citées; arrêt 6B_719/2015 du 4 mai 2016 consid. 6.1). A titre d'exemples de voies de fait, on peut citer la gifle, le coup de poing ou de pied, les fortes bourrades avec les mains ou les coudes (arrêt 6B_187/2015 du 28 avril 2015 consid. 2.1).
2.2. L'on ne saurait faire grief à l'instance précédente d'avoir considéré qu'en saisissant le bras de son employée et en la retenant par la force physique, le recourant a eu un geste qui excède ce qui est socialement toléré. Les critiques du recourant se fondent sur un état de fait autre que celui retenu par la cour cantonale, de sorte qu'elles sont irrecevables.
3.
Le recourant invoque les art. 14 et 17 CP en relation avec l'<ref-law>.
3.1. L'<ref-law>, relatif à l'état de nécessité licite, suppose que l'auteur ait commis un acte punissable pour préserver un bien juridique lui appartenant ou appartenant à un tiers d'un danger imminent et impossible à détourner autrement. L'impossibilité que le danger puisse être détourné autrement implique une subsidiarité absolue (arrêts 6B_176/2010 du 31 mai 2010 consid. 2.1; 6S.529/2006 du 8 février 2007 consid. 4). En d'autres termes, celui qui dispose de moyens licites pour préserver le bien juridique menacé ne peut pas se prévaloir de l'état de nécessité (arrêts 6B_343/2016 du 30 juin 2016 consid. 4.2; 6B_1056/2013 du 20 août 2014 consid. 5.1 et les références).
L'<ref-law> dispose que celui qui agit comme la loi l'ordonne ou l'autorise se comporte de manière licite, même si l'acte est punissable en vertu du code pénal ou d'une autre loi.
L'<ref-law> prévoit que le possesseur a le droit de repousser par la force tout acte d'usurpation ou de trouble (al. 1). Cette disposition ne confère cependant pas au possesseur le droit général d'user de violence. Elle ne lui permet d'agir que dans la mesure nécessaire pour protéger la possession contre des troubles (<ref-law>; <ref-ruling> consid. 3.2 p. 254 et les références; arrêt 6B_343/2016 du 30 juin 2016 consid. 4.1).
3.2. En l'espèce, le recourant ne saurait être suivi lorsqu'il soutient qu'il se trouvait dans une situation de danger imminent au sens de l'<ref-law>. En effet, il ne ressort pas de l'état de fait retenu par l'instance précédente qui lie le Tribunal fédéral (<ref-law>) que l'intimée était, comme le prétend le recourant, en possession de matériel ou de données confidentielles de la société B._ SA. Le recourant ne saurait donc pas non plus se prévaloir du droit de défense du possesseur prévu à l'<ref-law>. Ces deux griefs, en tant qu'ils se fondent sur des faits qui ne ressortent pas des constatations de l'instance précédente (cf. supra consid. 1.1), sont irrecevables.
4.
Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer d'indemnité à l'intimée qui n'a pas été invitée à se déterminer dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 24 août 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Juge présidant : Jacquemoud-Rossari
La Greffière : Thalmann