Faits :
A.
Par jugement du 9 décembre 2016, le Tribunal correctionnel de l'arrondissement de La Côte a condamné X._ pour lésions corporelles graves, lésions corporelles simples qualifiées, voies de faits qualifiées, violation du devoir d'assistance ou d'éducation et infraction à la loi fédérale sur la protection des animaux à une peine privative de liberté de 3 ans, avec sursis partiel portant sur 18 mois pendant un délai d'épreuve de 5 ans, ainsi qu'à une amende de 200 francs. Le Tribunal correctionnel a en outre ordonné un traitement psychothérapeutique ambulatoire en faveur de X._.
Par le même jugement, le Tribunal correctionnel a en outre condamné Y._ pour lésions corporelles simples qualifiées et violation du devoir d'assistance et d'éducation à une peine privative de liberté de 9 mois, avec sursis pendant 3 ans. Il a par ailleurs ordonné un traitement psychothérapique ambulatoire en sa faveur.
B.
Statuant le 19 mai 2017, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de X._ et partiellement admis celui du Ministère public. Elle a réformé le jugement du 9 décembre 2016, en ce sens que la peine de privation de liberté de 3 ans prononcée contre X._ était ferme. Elle l'a également réformé en ce sens qu'Y._ était condamnée pour lésions corporelles graves, lésions corporelles simples qualifiées, voies de faits qualifiées et violation du devoir d'assistance ou d'éducation à une peine de privation de liberté de 2 ans, avec sursis pendant 5 ans, le sursis étant subordonné à la condition que l'intéressée se soumette à un traitement psychothérapeutique individuel et au dispositif de visites médiatisées et accompagnées mis en place dans le cadre du placement de l'enfant A._ par le Service de protection de la jeunesse (SPJ), une amende ferme de 200 fr. devant en outre sanctionner le comportement d'Y._. Le jugement a été confirmé pour le surplus.
En substance, la cour cantonale a retenu les faits suivants.
B.a. En 2014, Y._ a donné naissance à sa fille A._. En raison d'un déni de grossesse, elle n'a réellement pris conscience de son état que peu de temps avant l'accouchement.
En novembre 2014, à B._, le nourrisson a subi à plusieurs reprises des actes de maltraitance tant par sa mère que par le compagnon de celle-ci, X._ - qui pensait alors être le père biologique de l'enfant -, alors qu'ils ne parvenaient pas à la faire cesser de pleurer.
S'agissant en particulier de X._, il lui est arrivé à deux reprises de saisir le nourrisson par la taille, sans lui tenir la tête, et de le lâcher sur le lit depuis une hauteur d'environ 60 cm, puis de recommencer immédiatement la même manoeuvre. Outre des claques et des fessées par-dessus la couche, il est également arrivé à X._, alors qu'il essayait d'habiller la fillette qui s'agitait, de lui donner un coup de poing dans les côtes, au niveau du sternum.
Pour sa part, Y._ a régulièrement asséné des claques à sa fille. A une reprise, elle l'a frappée au front au moyen d'un biberon. Il lui est également arrivé de lui pincer les joues et de lui serrer le cou, au point de lui occasionner des bleus.
Le 23 novembre 2014 au soir, alors que la petite A._ pleurait, X._ s'est rendu dans la pièce où elle se trouvait, en disant avec agressivité: "Cette fois, c'est moi qui vais m'occuper d'elle, ça va mal aller". Y._, qui se trouvait au salon, n'a pas réagi. X._ a alors donné deux claques à l'enfant et l'a secouée violemment. Voyant qu'elle était dans un état de semi-conscience et qu'elle avait des difficultés à respirer, il a fait venir sa compagne, qui a aussitôt appelé une ambulance. A l'arrivée des secours, l'enfant, somnolente et fébrile, présentait un état convulsif. Lors d'un premier examen à l'Hôpital C._, son état neurologique a été jugé très inquiétant et des mesures de réanimation relativement lourdes ont dû être mises en place.
L'enfant a été hospitalisée jusqu'au 9 décembre 2014, présentant durant cette période de nombreuses crises épileptiques post-traumatiques.
Le 7 janvier 2015, A._, par l'intermédiaire de sa curatrice, a déposé plainte et s'est constituée partie civile.
Le 16 mars 2015, le Centre universitaire romand de médecine légale (CURML) a présenté un rapport sur l'état de santé du nourrisson. Les examens effectués ont révélé deux hématomes cérébraux sous-duraux ainsi que de multiples hémorragies aux organes oculaires. Ces constatations étaient compatibles avec un syndrome du bébé secoué. Les examens radiologiques ont par ailleurs mis en évidence deux fractures des côtes postérieures, partiellement recalcifiées, et une fracture du tibia droit, en voie de consolidation. Le nourrisson présentait également des hématomes datant de quelques jours avant son admission à l'Hôpital C._.
Il ressort des avis médicaux versés au dossier que les différentes lésions subies par l'enfant l'ont exposée à des risques de troubles cognitifs, neuro-psychologiques et épileptiques à long terme, nécessitant un suivi neuro-pédiatrique proche, ainsi qu'à un risque de perte d'acuité visuelle. Si son état de santé évoluait globalement de façon favorable, une atteinte sensitive ne pouvait toutefois en l'état pas être exclue, faute de pouvoir effectuer des tests compte tenu de l'âge de la victime. Placée en foyer, la fillette faisait l'objet d'un suivi ophtalmique, d'un suivi physiothérapeutique et d'un accompagnement par les services sociaux.
B.b. En 2014, également à B._, X._ a maltraité à de nombreuses reprises le chien de sa compagne. Il a ainsi asséné à l'animal de forts coups de pied et des coups de poing lorsqu'il urinait là où il ne fallait pas ou lorsqu'il montait sur le canapé. Il lui est également arrivé de le frapper au niveau de la tête ou de le bâillonner avec de la bande adhésive durant cinq à dix minutes. A plusieurs occasions, il a filmé au moyen de son téléphone portable les sévices infligés au chien. Il s'en est aussi pris à son lapin, qu'il frappait au niveau de la tête.
B.c. Le 16 juin 2015, l'Institut de psychiatrie légale de D._ a rendu un rapport d'expertise psychiatrique concernant X._, ressortissant bosnien né en 1992. Les experts ont posé le diagnostic de "trouble de l'adaptation avec perturbation mixte des émotions et des conduites (code CIM-10: F43.25) chez un homme présentant des traits psychopathiques". Le trouble de l'adaptation se caractérisait par des symptômes émotionnels et des perturbations du comportement survenant à la suite d'un changement existentiel important, soit en l'occurrence pour le recourant sa paternité soudaine et inattendue. Par ailleurs, le recourant présentait des traits psychopathiques qui avaient un caractère persistant. Ils se manifestaient tant par une faible tolérance à la frustration que par de la violence, par des difficultés à se conformer aux règles notamment légales ainsi que par des difficultés à prendre en considération la sensibilité d'autrui.
Selon les spécialistes, la faculté de l'expertisé de se déterminer d'après une appréciation conservée du caractère illicite de ses actes était restreinte dans une mesure légère en ce qui concernait les actes de maltraitance envers l'enfant. En revanche, pour ce qui était des sévices sur le chien qui lui étaient également reprochés, les experts ont considéré que sa responsabilité pénale était conservée.
Les spécialistes ont estimé que le risque de récidive dans des actes de maltraitance sur un enfant existait au cas où l'expertisé se retrouverait dans la même situation qui verrait ses mécanismes adaptatifs débordés par un événement stressant ou un changement existentiel important auxquels il ne pourrait pas adéquatement faire face. Quant aux sévices sur les animaux, ils étaient d'avis qu'il existait un risque de récidive dans des actes de nature similaire à l'encontre d'êtres vulnérables. Selon les experts, un traitement psychothérapeutique spécialisé, suivi en ambulatoire, était nécessaire et susceptible de diminuer le risque de récidive, pour les actes de maltraitances aussi bien envers l'enfant que les animaux.
C.
Contre ce jugement, X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut, avec suite de frais et dépens, principalement à sa libération du chef de prévention de lésions corporelles graves et à sa condamnation pour lésions corporelles graves par négligence, lésions corporelles simples qualifiées, voies de fait qualifiées, violation du devoir d'assistance ou d'éducation et infraction à la loi fédérale sur la protection des animaux, principalement à une peine privative de liberté de 2 ans, avec sursis pendant un délai d'épreuve de 5 ans, ainsi qu'à une amende de 200 francs. Subsidiairement, il conclut à sa libération du chef de prévention de lésions corporelles graves et à sa condamnation pour les chefs de prévention précités à une peine de privation de liberté de 27 mois, avec sursis partiel - portant sur 21 mois - pendant un délai d'épreuve de 5 ans, ainsi qu'à une amende de 200 francs. Plus subsidiairement, il conclut à l'annulation du jugement entrepris et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il sollicite en outre le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
La cour cantonale a estimé que, si les circonstances précises de la survenance des lésions constatées sur le corps de l'enfant n'avaient pas pu être déterminées pour chacune d'elles, le recourant et sa compagne devaient néanmoins être considérés comme coauteurs de l'ensemble des violences infligées à l'enfant et devaient en conséquence, chacun, être reconnus coupables de lésions corporelles graves (<ref-law>; pour les actes ayant conduit au constat du syndrome du bébé secoué), de lésions corporelles simples qualifiées (<ref-law>; pour les fractures au tibia et aux côtes ainsi que pour les hématomes constatés sur le corps de l'enfant) et de voies de fait qualifiées (<ref-law>; pour les claques et les fessées). En outre, ils devaient tous deux être condamnés pour violation du devoir d'assistance ou d'éducation, les actes infligés à l'enfant étant de nature à mettre en danger son développement physique et psychique. Enfin, le recourant devait être reconnu coupable d'infraction à la loi fédérale sur la protection des animaux (art. 26 al. 1 let. a LPA), pour les sévices commis à l'égard du chien et du lapin.
2.
Se prévalant de sa présomption d'innocence (<ref-law>) et d'une violation des art. 12 et 122 CP, le recourant conteste avoir agi intentionnellement s'agissant des faits qui se sont déroulés le 23 novembre 2014. Il soutient que la cour cantonale pouvait tout au plus retenir une négligence consciente.
2.1.
2.1.1. Selon l'<ref-law>, celui qui, intentionnellement, aura blessé une personne de façon à mettre sa vie en danger (al. 1), ou aura mutilé le corps d'une personne, un de ses membres ou un de ses organes importants ou causé à une personne une incapacité de travail, une infirmité ou une maladie mentale permanentes, ou aura défiguré une personne d'une façon grave et permanente (al. 2) ou aura fait subir à une personne toute autre atteinte grave à l'intégrité corporelle ou à la santé physique ou mentale (al. 3) sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire de cent huitante jours-amende au moins.
2.1.2. Selon l'<ref-law>, agit intentionnellement quiconque commet un crime ou un délit avec conscience et volonté.
Déterminer ce qu'une personne a su, envisagé, voulu ou accepté relève du contenu de sa pensée, à savoir de faits "internes", partant, des constatations de fait (<ref-ruling> consid. 6.3 p. 375 et les références citées). Est en revanche une question de droit celle de savoir si l'autorité cantonale s'est fondée sur une juste conception de la notion de dol éventuel et si elle l'a correctement appliquée au vu des éléments retenus (<ref-ruling> consid. 4.2.3 p. 4 s.).
2.1.3. Les infractions de lésions corporelles peuvent être commises par dol éventuel, élément subjectif qui est réalisé lorsque l'auteur envisage le résultat dommageable et agit, même s'il ne le souhaite pas, parce qu'il s'en accommode pour le cas où il se produirait (<ref-ruling> consid. 2.3.2 p. 156). Parmi les éléments extérieurs permettant de conclure que l'auteur s'est accommodé du résultat dommageable pour le cas où il se produirait figurent notamment la probabilité, connue par l'auteur, de la réalisation du risque et l'importance de la violation du devoir de prudence. Plus celle-ci est grande, plus sera fondée la conclusion que l'auteur, malgré d'éventuelles dénégations, a accepté l'éventualité de la réalisation du résultat dommageable (<ref-ruling> consid. 8.4.1 p. 84; <ref-ruling> consid. 2.3.3 p. 18). Ainsi, le dol éventuel peut notamment être retenu lorsque la réalisation du résultat devait paraître suffisamment vraisemblable à l'auteur pour que son comportement ne puisse raisonnablement être interprété que comme une acceptation de ce risque (<ref-ruling> consid. 4.2.3 p. 4; <ref-ruling> consid. 5.3 p. 226).
La négligence consciente se distingue du dol éventuel par l'élément volitif. Alors que celui qui agit par dol éventuel s'accommode du résultat dommageable pour le cas où il se produirait, celui qui agit par négligence consciente escompte - ensuite d'une imprévoyance coupable - que ce résultat, qu'il envisage aussi comme possible, ne se produira pas (<ref-ruling> consid. 8.2 p. 83; <ref-ruling> consid. 4.1 p. 16; <ref-ruling> consid. 8.3 p. 61; <ref-ruling> consid. 3c p. 251).
2.1.4. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire dans la constatation des faits (sur cette notion, <ref-ruling> consid. 3.4 p. 53 et 140 I 201 consid. 6.1 p. 205).
La présomption d'innocence, garantie par les art. 32 al. 1 Cst., 10 CPP, 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe in dubio pro reo, concernent tant l'appréciation des preuves que le fardeau de la preuve (<ref-ruling> consid. 2a p. 40 s.; <ref-ruling> consid. 2c p. 36 s.; arrêt 6B_58/2016 du 18 août 2016 consid. 2.1). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe in dubio pro reo, celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82 s.). En tant que règle sur le fardeau de la preuve, la présomption d'innocence signifie, au stade du jugement, que ce fardeau incombe à l'accusation et que le doute doit profiter au prévenu. C'est ainsi à l'accusation d'établir la culpabilité du prévenu, et non à celui-ci de démontrer qu'il n'est pas coupable. La présomption d'innocence est violée lorsque le juge rend un verdict de culpabilité au seul motif que le prévenu n'a pas prouvé son innocence (<ref-ruling> consid. 2a p. 40; arrêt 6B_58/2016 du 18 août 2016 consid. 2.1).
2.2. Le recourant soutient avoir agi dans l'intention de réanimer l'enfant et non pas de la blesser. Se prévalant de ses déclarations en cours d'instruction, il explique qu'énervé par les pleurs de A._, il est entré dans sa chambre et lui a asséné deux claques assez fortes. Constatant alors que l'enfant était "semi-inconsciente" et pensant qu'elle faisait une crise d'asthme ou d'épilepsie, il prétend l'avoir ensuite sortie du lit et s'être mis à la secouer en la prenant par les chevilles, la tête en bas, dans l'optique de la rétablir.
La cour cantonale a retenu que les explications de l'intéressé quant à sa volonté de réanimer l'enfant n'étaient pas crédibles, ce d'autant que ses déclarations avaient été divergentes au cours de l'instruction. Ainsi, s'il avait réellement poursuivi un tel but, il n'était pas possible qu'il se soit passé 5 minutes entre le moment où le recourant était entré dans la chambre et celui où les bruits des pleurs avaient cessé, comme l'avait déclaré sa compagne. Cela signifiait en effet que l'enfant s'était arrêtée de pleurer après 5 minutes et non pas immédiatement après avoir reçu des claques. Peu importait par ailleurs la manière dont les lésions avaient été causées, dans la mesure où il était établi que celles-là avaient été infligées par un geste délibéré de maltraitance.
Les allégations du recourant ne trouvent aucune assise dans les constatations cantonales, dont il ne démontre pas l'arbitraire. Purement appellatoires, elles sont irrecevables.
2.3. Le recourant objecte par ailleurs que ses déclarations - selon lesquelles il connaissait les possibles conséquences mortelles de secousses sur un nourrisson - ont été sorties de leur contexte. La cour cantonale a relevé que, lors de son audition du 8 décembre 2014, le recourant avait déclaré savoir qu'en secouant l'enfant, "elle pouvait mourir du coup du lapin" (cf. procès-verbal d'audition n° 5, p. 7). Contrairement à ce que soutient le recourant, il n'était pas insoutenable de retenir sur cette base, indépendamment du contexte dans lequel la déclaration a été émise, que le recourant connaissait le risque mortel de secousses sur un jeune enfant. La critique est infondée.
2.4. Le recourant ne conteste pas que ses gestes ont occasionné à l'enfant d'importantes lésions, de type "syndrome du bébé secoué", l'exposant selon les médecins à des risques de troubles cognitifs, neuro-psychologiques et épileptiques à long terme ainsi qu'à un risque de perte d'acuité visuelle. En retenant la qualification de lésions corporelles graves au sens de l'<ref-law>, la cour cantonale n'a pas excédé le pouvoir d'appréciation que lui concède la jurisprudence (et dont le Tribunal fédéral ne revoit l'exercice qu'avec retenue) dans l'interprétation de cette notion juridique indéterminée (<ref-ruling> consid. 3.2 p. 3; <ref-ruling> consid. 2a et b p. 19 s.).
Il a en outre été retenu sans arbitraire que le recourant, agacé par les pleurs du nourrisson et voulant les faire cesser, lui a délibérément asséné des coups et des secousses, alors qu'il connaissait pourtant le danger mortel d'un tel comportement. L'intéressé ne pouvait ignorer l'impact de sa force sur le nourrisson. Ces circonstances démontrent que la réalisation du résultat dommageable paraissait vraisemblable aux yeux de l'auteur. Son comportement ne peut dès lors être raisonnablement interprété que comme une acceptation du risque, ce qui permet d'exclure, sans violer la présomption d'innocence, toute négligence, même consciente, et justifie de retenir une commission par dol éventuel.
2.5. Il s'ensuit que la cour cantonale n'a pas violé le droit fédéral en considérant que le recourant devait être condamné pour lésions corporelles graves (<ref-law>).
Le grief doit être rejeté dans la mesure de sa recevabilité.
3.
Invoquant une constatation arbitraire des faits ainsi qu'une violation de sa présomption d'innocence, le recourant conteste s'être rendu coupable de lésions corporelles simples par coactivité s'agissant des fractures au tibia et aux côtes constatées sur le corps de l'enfant.
3.1. Est un coauteur celui qui collabore, intentionnellement et de manière déterminante, avec d'autres personnes à la décision de commettre une infraction, à son organisation ou à son exécution, au point d'apparaître comme l'un des participants principaux. Il faut que, d'après les circonstances du cas concret, la contribution du coauteur apparaisse essentielle à l'exécution de l'infraction. La seule volonté quant à l'acte ne suffit pas. Il n'est toutefois pas nécessaire que le coauteur ait effectivement participé à l'exécution de l'acte ou qu'il ait pu l'influencer. La coactivité suppose une décision commune, qui ne doit cependant pas obligatoirement être expresse, mais peut aussi résulter d'actes concluants, le dol éventuel quant au résultat étant suffisant. Il n'est pas nécessaire que le coauteur participe à la conception du projet, auquel il peut adhérer ultérieurement. Il n'est pas non plus nécessaire que l'acte soit prémédité; le coauteur peut s'y associer en cours d'exécution. Ce qui est déterminant, c'est que le coauteur se soit associé à la décision dont est issue l'infraction ou à la réalisation de cette dernière, dans des conditions ou dans une mesure qui le font apparaître comme un participant non pas secondaire, mais principal. La jurisprudence exige même que le coauteur ait une certaine maîtrise des opérations et que son rôle soit plus ou moins indispensable (<ref-ruling> consid. 2.3.1 p. 155; <ref-ruling> consid. 9.2.1 p. 66; <ref-ruling> consid. 3a p. 136; <ref-ruling> consid. 2d p. 23; arrêt 6B_1015/2017 du 13 mars 2018 consid. 2.1).
3.2. La cour cantonale a constaté que le couple avait décidé ensemble, d'une manière tacite, de tolérer et de prolonger un mode de vie fait de violence régulière. Ainsi, si Y._ avait reconnu avoir été présente lors de nombreux actes de maltraitance de son concubin, il ressortait toutefois de ses déclarations qu'elle n'avait rien fait pour l'empêcher d'agir (cf. procès-verbal d'audition n° 6, p. 2). Il en allait de même pour le recourant (cf. procès-verbal d'audition n° 5, p. 3). En outre, après l'épisode où la mère avait frappé son enfant à la tête avec un biberon, lui causant un hématome, le couple avait mis au point, pour préserver son image, une version mensongère commune à l'intention des intervenants médicaux et sociaux, prétextant que la tête de la fillette avait accidentellement heurté le plafond alors que la mère s'était levée du canapé avec l'enfant dans ses bras (cf. procès-verbal d'audition n° 4, p. 4, et n° 5, p. 2). Le recourant avait servi cette version à la police pour protéger son amie (cf. procès-verbal d'audition n° 2, p. 5). De même, Y._ avait menti en faveur de son compagnon en indiquant le 25 novembre 2014 que celui-ci n'avait jamais commis d'actes de violence envers sa fille (cf. procès-verbal d'audition n° 1, pp. 6 s.). Par ailleurs, malgré les difficultés rencontrées, le couple n'avait jamais demandé de l'aide, alors qu'un suivi avait pourtant été mis en place par le SPJ dès la naissance.
Au surplus, il ne faisait pas de doute que c'était l'un des deux membres du couple qui avait provoqué les fractures au tibia et aux côtes, l'enfant ayant été maltraitée tant par sa mère que par le recourant. Ni l'un ni l'autre ne soutenait par ailleurs que les fractures pouvaient avoir une origine accidentelle et aucun avis médical ne permettait de les lier à des gestes particuliers.
3.3. Le recourant soutient qu'au moment d'examiner l'existence d'une volonté commune du couple, la cour cantonale aurait dû tenir compte des messages électroniques échangés le 19 novembre 2014, entre 10h12 et 10h22, par lesquels il reprochait notamment à sa compagne de laisser sa fille "pisser le sang" et de ne pas avoir de "coeur", ni de "pitié" (cf. dossier cantonal, P. 14).
Le recourant n'émet aucune critique d'arbitraire sur l'appréciation des preuves de la cour cantonale, qui a retenu l'existence d'une volonté commune du couple en se fondant sur un faisceau d'indices convergents. De surcroît, les messages du recourant, adressés à une seule reprise à sa compagne, ne permettent pas encore de retenir qu'il aurait tenté de la dissuader de commettre les nombreux actes de maltraitance constatés sur une période de plusieurs semaines, de sorte que l'appréciation de l'autorité précédente quant à l'existence d'une volonté commune du couple n'est pas arbitraire et ne procède pas d'un renversement inadmissible du fardeau de la preuve.
3.4. Pour le surplus, le recourant ne développe pas de grief spécifique tendant à démontrer que la cour cantonale a violé le droit fédéral en retenant une coactivité ou qu'elle aurait méconnu cette notion. Il ressort des faits établis sans arbitraire par la cour cantonale que les intéressés, agissant par une volonté commune, avaient tous deux commis des violences à l'égard du nourrisson, de sorte qu'ils ont tous deux apporté, sur le plan objectif, une contribution essentielle aux actes de maltraitance infligés. Ils doivent en conséquence chacun se laisser imputer l'ensemble des lésions constatées, sans qu'il soit nécessaire de distinguer quel auteur et quel acte avaient causé quelle blessure.
En outre, la répétition des lésions occasionnées à l'enfant et leur gravité, associées aux constatations dénuées d'arbitraire de la cour cantonale, permettent de déduire que les auteurs ne pouvaient que s'être accommodés du risque de blessure qu'ils faisaient courir à l'enfant. Pour ces actes, ils ont donc agi à tout le moins par dol éventuel (v. sur cette notion: supra consid. 2.1.3).
3.5. Il s'ensuit que la condamnation du recourant pour lésions corporelles simples qualifiées (<ref-law>) s'agissant des fractures au tibia et aux côtes ne viole pas le droit fédéral. On ne distingue pas non plus dans ce contexte de violation de la présomption d'innocence.
Le grief doit être rejeté dans la mesure de sa recevabilité.
4.
Le recourant conteste la quotité de la peine prononcée à son encontre.
4.1. En tant que son grief présuppose son acquittement partiel, respectivement une autre qualification juridique que celle retenue par la cour cantonale, il n'y a pas lieu de l'examiner plus avant.
Pour le reste, le recourant soutient que la notion de diminution de responsabilité a été mal interprétée par la cour cantonale au moment de fixer sa peine.
4.2. Selon l'<ref-law>, le juge atténue la peine si, au moment d'agir, l'auteur ne possédait que partiellement la faculté d'apprécier le caractère illicite de son acte ou de se déterminer d'après cette appréciation.
Le juge dispose d'un large pouvoir d'appréciation lorsqu'il détermine l'effet de la diminution de la responsabilité sur la faute (subjective) au vu de l'ensemble des circonstances. Il peut appliquer l'échelle habituelle: une faute (objective) très grave peut être réduite à une faute grave à très grave en raison d'une diminution légère de la responsabilité. La réduction pour une telle faute (objective) très grave peut conduire à retenir une faute moyenne à grave en cas d'une diminution moyenne et à une faute légère à moyenne en cas de diminution grave. Sur la base de cette appréciation, le juge doit prononcer la peine en tenant compte des autres critères de fixation de celle-ci. Un tel procédé permet de tenir compte de la diminution de la responsabilité sans lui attribuer une signification excessive (<ref-ruling> consid. 5.6 p. 62).
En bref, le juge doit procéder comme suit en cas de diminution de la responsabilité pénale: dans un premier temps, il doit décider, sur la base des constatations de fait de l'expertise, dans quelle mesure la responsabilité pénale de l'auteur est restreinte sur le plan juridique et comment cette diminution se répercute sur l'appréciation de la faute. La faute globale doit être qualifiée et, au regard de l'<ref-law>, le juge doit expressément mentionner le degré de gravité à prendre en compte. Dans un deuxième temps, il lui incombe de déterminer la peine hypothétique qui correspond à cette faute. La peine ainsi fixée peut ensuite être, le cas échéant, modifiée en raison de facteurs liés à l'auteur (Täterkomponente) ainsi qu'en raison d'une éventuelle tentative selon l'<ref-law> (<ref-ruling> consid. 5.7 p. 62 s.).
4.3. La cour cantonale a relevé que la diminution légère de responsabilité ressortant de l'expertise était à mettre en lien avec le déni de grossesse de la compagne du recourant, soit à son trouble de l'adaptation, et non à ses traits psychopathiques. Toutefois, ce trouble de l'adaptation n'affectait pas la culpabilité de toutes les infractions. Elle ne touchait ainsi en rien ce qui avait trait aux animaux. Par ailleurs, même en ce qui concernait les actes commis sur A._, certains actes relevaient de la cruauté pure - et donc de ses traits psychopathiques -, en particulier l'épisode où l'intéressé avait affirmé s'être "amusé" en laissant tomber l'enfant sur le lit alors qu'elle pleurait. La cour cantonale en a conclu que, la diminution de responsabilité ne touchant que certains actes et n'étant que légère, la culpabilité demeurait globalement très lourde. Au vu de ces éléments, la peine privative de liberté de 36 mois infligée par les premiers juges était adéquate.
4.4. Le recourant soutient que, dans la mesure où les experts avaient fait état, pour les actes de maltraitance commis à l'égard de A._, tant d'un trouble de l'adaptation que de traits psychopathiques, la cour cantonale s'est écartée du rapport d'expertise en retenant que c'était plus sa psychopathie qui s'était manifestée que son trouble de l'adaptation.
Contrairement à ce que sous-entend le recourant, la cour cantonale ne déduit pas de l'expertise que l'ensemble des actes commis sur l'enfant serait dû à ses traits psychopathiques. Elle ne s'écarte en réalité de l'appréciation des experts que sur un seul point: en tant qu'elle a considéré que l'épisode où le recourant s'amusait relevait de la psychopathie, alors que l'expert a apprécié tous les actes commis sur l'enfant principalement à l'aune du trouble de l'adaptation. En se référant aux explications du recourant, selon lesquelles il avait trouvé amusant de laisser tomber le nourrisson sur le lit alors qu'il pleurait, la cour cantonale a mis en évidence des circonstances déterminées, bien établies, justifiant, pour cet épisode spécifique, de s'écarter de l'appréciation globale fournie par l'expertise. Une telle démarche, dûment motivée, n'est pas arbitraire (<ref-ruling> consid. 4.3.1 p. 198 s.). Enfin, l'appréciation de la cour cantonale selon laquelle la culpabilité du recourant demeurait globalement très lourde nonobstant la légère diminution de responsabilité résultant du trouble de l'adaptation n'apparaît pas critiquable.
Pour le surplus, le recourant n'invoque aucun élément important propre à modifier la peine, qui aurait été omis ou pris en considération à tort par la cour cantonale. Il ne prétend pas non plus qu'au vu des circonstances, la peine apparaît exagérément sévère au point de constituer un abus du pouvoir d'appréciation.
Le grief doit donc être rejeté.
5.
Le recourant soutient qu'il doit bénéficier du sursis à l'exécution de la peine.
5.1. Dès lors que c'est une peine de 36 mois qui a été prononcée, seul un sursis partiel peut entrer en ligne de compte en l'espèce (<ref-law>).
5.2. Le sursis partiel ne doit être prononcé que si, sous l'angle de la prévention spéciale, l'octroi du sursis pour une partie de la peine ne peut se concevoir que moyennant exécution de l'autre partie. La situation est comparable à celle où il s'agit d'évaluer les perspectives d'amendement en cas de révocation du sursis. Lorsqu'il existe, notamment en raison de condamnations antérieures, de sérieux doutes sur les perspectives d'amendement de l'auteur, qui ne justifient cependant pas encore, à l'issue de l'appréciation de l'ensemble des circonstances, un pronostic concrètement défavorable, le tribunal peut accorder un sursis partiel au lieu du sursis total. On évite de la sorte, dans les cas de pronostics très incertains, le dilemme du "tout ou rien". Un pronostic défavorable, en revanche, exclut tant le sursis partiel que le sursis total (<ref-ruling> consid. 5.3.1 p. 10).
Selon la jurisprudence, les conditions subjectives auxquelles l'<ref-law> soumet l'octroi du sursis intégral s'appliquent également à l'octroi du sursis partiel (<ref-ruling> consid. 3.3 p. 277; <ref-ruling> consid. 5.3.1 p. 10). Pour formuler un pronostic sur l'amendement de l'auteur, le juge doit se livrer à une appréciation d'ensemble, tenant compte des circonstances de l'infraction, des antécédents de l'auteur, de sa réputation et de sa situation personnelle au moment du jugement, notamment de l'état d'esprit qu'il manifeste. Il doit tenir compte de tous les éléments propres à éclairer l'ensemble du caractère de l'accusé et ses chances d'amendement. Il ne peut accorder un poids particulier à certains critères et en négliger d'autres qui sont pertinents (<ref-ruling> consid. 2.1 p. 185 s.; <ref-ruling> consid. 4.2.1 p. 5). Le défaut de prise de conscience de la faute peut justifier un pronostic défavorable, car seul celui qui se repent de son acte mérite la confiance que l'on doit pouvoir accorder au condamné bénéficiant du sursis (arrêt 6B_682/2017 du 11 décembre 2017 consid. 3.1).
Le juge dispose d'un large pouvoir d'appréciation dans l'émission du pronostic. Le Tribunal fédéral n'intervient que s'il en a abusé, notamment lorsqu'il a omis de tenir compte de critères pertinents et s'est fondé exclusivement sur les antécédents du condamné (<ref-ruling>40 consid. 4.2 p. 143; <ref-ruling> consid. 2.3 p. 204).
5.3. La cour cantonale a jugé le pronostic défavorable. Le recourant n'avait eu de cesse de minimiser et de justifier ses actes. Il ne manifestait aucun amendement solide. Ses problèmes psychiques l'exposaient en outre à répéter des actes semblables si un être vulnérable se trouvait à sa portée, cette hypothèse ne pouvant être exclue en l'état.
5.4. Le recourant conteste l'existence d'un risque de récidive, étant donné qu'il est peu probable, au vu de sa situation actuelle, qu'il se retrouve dans un contexte aussi particulier que celui qui s'est présenté en 2014 et qui était à mettre en lien avec sa paternité soudaine et inattendue.
Invités à indiquer si le diagnostic psychique du recourant laissait craindre une réitération d'actes de même nature, les experts ont constaté qu'un risque de récidive existait au cas où l'intéressé se retrouvait dans le même type de situation qui verrait ses mécanismes adaptatifs débordés par un événement stressant ou un changement existentiel important auquel il ne pourrait pas adéquatement faire face (cf. rapport d'expertise, p. 17). Ils ont relevé à cet égard qu'un traitement psychothérapique spécialisé était nécessaire afin de diminuer le risque de réitération, également en ce qui concernait les maltraitances exercées sur des animaux (cf. rapport d'expertise, p. 18). Or, la cour cantonale a constaté que la motivation du recourant à suivre un tel traitement apparaissait mitigée, dans la mesure où il n'avait pris contact avec un psychiatre que tout récemment - et parce que "les procureurs l'avaient exigé" -, ce que le recourant ne remet pas en cause. Elle pouvait donc considérer que ces circonstances ne plaidaient pas en faveur d'une diminution du risque de récidive mis en lumière par les experts. On comprend en outre qu'aux yeux de la cour cantonale, la situation personnelle et familiale du recourant, dont les déclarations laissaient entendre qu'il n'avait pas encore réglé tous ses problèmes (cf. jugement entrepris, p. 3), n'était pas suffisamment stable pour exclure toute probabilité de survenance d'événements particuliers perturbant son comportement et susceptible de faire réapparaître son trouble mental de l'adaptation et ses traits psychopathiques. Le fait qu'il n'avait pas connu de tels événements depuis la période délictueuse n'apparaît donc pas pertinent, pas plus que le fait qu'il avait retrouvé du travail, le risque de récidive évoqué par les experts étant indépendant de tout facteur socio-professionnel. Au demeurant, son emploi de chauffeur-livreur, qu'il occupait depuis moins de trois mois lors de l'audience d'appel (cf. jugement entrepris, p. 3), n'était pas suffisant pour retenir que l'intéressé avait retrouvé une situation stable.
Pour le surplus, le recourant n'invoque pas d'autres éléments pertinents qui n'auraient pas été pris en compte par l'autorité précédente. Le grief doit dès lors être rejeté.
6.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable. Le recours était voué à l'échec, de sorte que l'assistance judiciaire est refusée (<ref-law>). Les frais judiciaires, dont la quotité tiendra compte de la situation financière du recourant, sont mis à la charge de ce dernier (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 28 mars 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Tinguely