Faits :
A.
Statuant en deuxième instance à la suite du jugement du 6 mai 2014 rendu par le Tribunal de police de l'arrondissement de l'Est vaudois, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a, par jugement du 17 septembre 2014, rejeté l'appel de X._ et admis celui de A._, a condamné celui-là, pour lésions corporelles simples qualifiées, à une peine pécuniaire de 50 jours-amende, le montant du jour-amende étant fixé à 30 fr., avec sursis pendant deux ans et a libéré celle-ci des fins de la poursuite pénale.
B.
X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 17 septembre 2014, concluant, avec suite de dépens, à sa réforme en ce sens qu'il est libéré des fins de la poursuite pénale. Il sollicite par ailleurs l'assistance judiciaire.

Considérant en droit :
1.
1.1. Invoquant un abus de droit, le recourant se plaint d'une violation de l'<ref-law>. Selon lui, la procédure ayant été suspendue en première instance, l'intimée a révoqué son accord sans motif. Il ne conteste pas que la déclaration de l'intimée est intervenue dans le délai de six mois prévu à l'<ref-law>. Il relève qu'elle a justifié sa révocation en raison de menaces survenues avant la suspension, qu'il n'y a pas eu de nouvelles menaces et que l'exercice du droit de visite sur sa fille se déroulait bien. Selon lui, la reprise de la procédure doit dépendre d'éléments nouveaux postérieurs à la suspension sous peine d'abus de droit.
1.2.
1.2.1. Selon l'<ref-law>, en cas de lésions corporelles simples (art. 123 ch. 2 al. 3 à 5 CP), de voies de fait réitérées (art. 126 al. 2 let. b, b biset c CP), de menace (<ref-law>) ou de contrainte (<ref-law>), le ministère public et les tribunaux peuvent suspendre la procédure si la victime est notamment le conjoint de l'auteur (al. 1 let. a ch. 1) et si elle le requiert ou donne son accord à la proposition de suspension (al. 1 let. b). La procédure est reprise si la victime révoque son accord, par écrit ou par oral, dans les six mois qui suivent la suspension (al. 2). En l'absence de révocation de l'accord, le ministère public et les tribunaux ordonnent le classement de la procédure (al. 3).
L'<ref-law> a été adopté dans le cadre d'une initiative parlementaire (cf. FF 2003 p. 1750 ss, spéc. p. 1768). Cette disposition introduit une suspension provisoire de la procédure qui permet à la victime de revenir sur sa décision et de garantir ainsi que celle-ci soit prise en toute liberté. Pendant le délai de six mois prévu à l'al. 2, la victime peut en tout temps se déterminer pour la reprise de la procédure et ainsi reconsidérer sa position (cf. FF 2003 ibidem; cf. aussi DUPUIS ET AL., Code pénal, Petit commentaire, 2012, n° 14 ad <ref-law>; RIEDO/ALLEMANN in Basler Kommentar, Strafrecht I, 3 e éd. 2014, n° 188 ad <ref-law>).
1.2.2. L'abus de droit consiste à utiliser une institution juridique à des fins étrangères au but même de la disposition légale qui la consacre, de telle sorte que l'écart entre le droit exercé et l'intérêt qu'il est censé protéger soit manifeste. L'interdiction de l'abus de droit s'étend à l'ensemble des domaines du droit, en particulier à la procédure pénale (<ref-ruling> consid. 1b p. 81). Elle est désormais consacrée à l'<ref-law>, également applicable aux parties, nonobstant la teneur de cette disposition (cf. arrêt 6B_5/2013 du 19 février 2013 consid. 2.7).
1.3. L'approche du recourant ne saurait être suivie. Il est vrai que les travaux parlementaires (FF 2003 ibidem) évoquent l'hypothèse où l'auteur aurait déçu les espérances de la victime. On ne saurait cependant en déduire une exigence quant à la révocation par la victime. Au contraire, lesdits travaux parlementaires, pas plus que le texte légal, ne lient la reprise de la procédure par la victime à un juste motif que celle-ci devrait invoquer ou à des critères particuliers. Selon le système légal adopté, la victime garde la faculté de revenir librement sur son accord de suspension durant une période de six mois. Elle peut, durant ce laps de temps, reconsidérer sa position. Contrairement à ce que suppose le recourant, un événement postérieur à la suspension n'est pas requis pour légitimer une reprise de la procédure. Les éléments invoqués par le recourant ne consacrent aucun abus de droit.
1.4. Le recourant ne formule pour le surplus aucun autre grief à l'encontre de sa condamnation.
2.
Le recours doit être rejeté. Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais, dont le montant sera toutefois fixé en tenant compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 22 juin 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Livet