Faits : A. Par jugement du 9 décembre 2016, le Tribunal correctionnel de l'arrondissement de La Côte a condamné X._ pour lésions corporelles graves, lésions corporelles simples qualifiées, voies de faits qualifiées, violation du devoir d'assistance ou d'éducation et infraction à la loi fédérale sur la protection des animaux à une peine privative de liberté de 3 ans, avec sursis partiel portant sur 18 mois pendant un délai d'épreuve de 5 ans, ainsi qu'à une amende de 200 francs. Le Tribunal correctionnel a en outre ordonné un traitement psychothérapeutique ambulatoire en faveur de X._. Par le même jugement, le Tribunal correctionnel a en outre condamné Y._ pour lésions corporelles simples qualifiées et violation du devoir d'assistance et d'éducation à une peine privative de liberté de 9 mois, avec sursis pendant 3 ans. Il a par ailleurs ordonné un traitement psychothérapique ambulatoire en sa faveur. B. Statuant le 19 mai 2017, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de X._ et partiellement admis celui du Ministère public. Elle a réformé le jugement du 9 décembre 2016, en ce sens que la peine de privation de liberté de 3 ans prononcée contre X._ était ferme. Elle l'a également réformé en ce sens qu'Y._ était condamnée pour lésions corporelles graves, lésions corporelles simples qualifiées, voies de faits qualifiées et violation du devoir d'assistance ou d'éducation à une peine de privation de liberté de 2 ans, avec sursis pendant 5 ans, le sursis étant subordonné à la condition que l'intéressée se soumette à un traitement psychothérapeutique individuel et au dispositif de visites médiatisées et accompagnées mis en place dans le cadre du placement de l'enfant A._ par le Service de protection de la jeunesse (SPJ), une amende ferme de 200 fr. devant en outre sanctionner le comportement d'Y._. Le jugement a été confirmé pour le surplus. En substance, la cour cantonale a retenu les faits suivants. B.a. En 2014, Y._ a donné naissance à sa fille A._. En raison d'un déni de grossesse, elle n'a réellement pris conscience de son état que peu de temps avant l'accouchement. En novembre 2014, à B._, le nourrisson a subi à plusieurs reprises des actes de maltraitance tant par sa mère que par le compagnon de celle-ci, X._ - qui pensait alors être le père biologique de l'enfant -, alors qu'ils ne parvenaient pas à la faire cesser de pleurer. S'agissant en particulier de X._, il lui est arrivé à deux reprises de saisir le nourrisson par la taille, sans lui tenir la tête, et de le lâcher sur le lit depuis une hauteur d'environ 60 cm, puis de recommencer immédiatement la même manoeuvre. Outre des claques et des fessées par-dessus la couche, il est également arrivé à X._, alors qu'il essayait d'habiller la fillette qui s'agitait, de lui donner un coup de poing dans les côtes, au niveau du sternum. Pour sa part, Y._ a régulièrement asséné des claques à sa fille. A une reprise, elle l'a frappée au front au moyen d'un biberon. Il lui est également arrivé de lui pincer les joues et de lui serrer le cou, au point de lui occasionner des bleus. Le 23 novembre 2014 au soir, alors que la petite A._ pleurait, X._ s'est rendu dans la pièce où elle se trouvait, en disant avec agressivité: "Cette fois, c'est moi qui vais m'occuper d'elle, ça va mal aller". Y._, qui se trouvait au salon, n'a pas réagi. X._ a alors donné deux claques à l'enfant et l'a secouée violemment. Voyant qu'elle était dans un état de semi-conscience et qu'elle avait des difficultés à respirer, il a fait venir sa compagne, qui a aussitôt appelé une ambulance. A l'arrivée des secours, l'enfant, somnolente et fébrile, présentait un état convulsif. Lors d'un premier examen à l'Hôpital C._, son état neurologique a été jugé très inquiétant et des mesures de réanimation relativement lourdes ont dû être mises en place. L'enfant a été hospitalisée jusqu'au 9 décembre 2014, présentant durant cette période de nombreuses crises épileptiques post-traumatiques. Le 7 janvier 2015, A._, par l'intermédiaire de sa curatrice, a déposé plainte et s'est constituée partie civile. Le 16 mars 2015, le Centre universitaire romand de médecine légale (CURML) a présenté un rapport sur l'état de santé du nourrisson. Les examens effectués ont révélé deux hématomes cérébraux sous-duraux ainsi que de multiples hémorragies aux organes oculaires. Ces constatations étaient compatibles avec un syndrome du bébé secoué. Les examens radiologiques ont par ailleurs mis en évidence deux fractures des côtes postérieures, partiellement recalcifiées, et une fracture du tibia droit, en voie de consolidation. Le nourrisson présentait également des hématomes datant de quelques jours avant son admission à l'Hôpital C._. Il ressort des avis médicaux versés au dossier que les différentes lésions subies par l'enfant l'ont exposée à des risques de troubles cognitifs, neuro-psychologiques et épileptiques à long terme, nécessitant un suivi neuro-pédiatrique proche, ainsi qu'à un risque de perte d'acuité visuelle. Si son état de santé évoluait globalement de façon favorable, une atteinte sensitive ne pouvait toutefois en l'état pas être exclue, faute de pouvoir effectuer des tests compte tenu de l'âge de la victime. Placée en foyer, la fillette faisait l'objet d'un suivi ophtalmique, d'un suivi physiothérapeutique et d'un accompagnement par les services sociaux. B.b. En 2014, également à B._, X._ a maltraité à de nombreuses reprises le chien de sa compagne. Il a ainsi asséné à l'animal de forts coups de pied et des coups de poing lorsqu'il urinait là où il ne fallait pas ou lorsqu'il montait sur le canapé. Il lui est également arrivé de le frapper au niveau de la tête ou de le bâillonner avec de la bande adhésive durant cinq à dix minutes. A plusieurs occasions, il a filmé au moyen de son téléphone portable les sévices infligés au chien. Il s'en est aussi pris à son lapin, qu'il frappait au niveau de la tête. B.c. Le 16 juin 2015, l'Institut de psychiatrie légale de D._ a rendu un rapport d'expertise psychiatrique concernant X._, ressortissant bosnien né en 1992. Les experts ont posé le diagnostic de "trouble de l'adaptation avec perturbation mixte des émotions et des conduites (code CIM-10: F43.25) chez un homme présentant des traits psychopathiques". Le trouble de l'adaptation se caractérisait par des symptômes émotionnels et des perturbations du comportement survenant à la suite d'un changement existentiel important, soit en l'occurrence pour le recourant sa paternité soudaine et inattendue. Par ailleurs, le recourant présentait des traits psychopathiques qui avaient un caractère persistant. Ils se manifestaient tant par une faible tolérance à la frustration que par de la violence, par des difficultés à se conformer aux règles notamment légales ainsi que par des difficultés à prendre en considération la sensibilité d'autrui. Selon les spécialistes, la faculté de l'expertisé de se déterminer d'après une appréciation conservée du caractère illicite de ses actes était restreinte dans une mesure légère en ce qui concernait les actes de maltraitance envers l'enfant. En revanche, pour ce qui était des sévices sur le chien qui lui étaient également reprochés, les experts ont considéré que sa responsabilité pénale était conservée. Les spécialistes ont estimé que le risque de récidive dans des actes de maltraitance sur un enfant existait au cas où l'expertisé se retrouverait dans la même situation qui verrait ses mécanismes adaptatifs débordés par un événement stressant ou un changement existentiel important auxquels il ne pourrait pas adéquatement faire face. Quant aux sévices sur les animaux, ils étaient d'avis qu'il existait un risque de récidive dans des actes de nature similaire à l'encontre d'êtres vulnérables. Selon les experts, un traitement psychothérapeutique spécialisé, suivi en ambulatoire, était nécessaire et susceptible de diminuer le risque de récidive, pour les actes de maltraitances aussi bien envers l'enfant que les animaux. C. Contre ce jugement, X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut, avec suite de frais et dépens, principalement à sa libération du chef de prévention de lésions corporelles graves et à sa condamnation pour lésions corporelles graves par négligence, lésions corporelles simples qualifiées, voies de fait qualifiées, violation du devoir d'assistance ou d'éducation et infraction à la loi fédérale sur la protection des animaux, principalement à une peine privative de liberté de 2 ans, avec sursis pendant un délai d'épreuve de 5 ans, ainsi qu'à une amende de 200 francs. Subsidiairement, il conclut à sa libération du chef de prévention de lésions corporelles graves et à sa condamnation pour les chefs de prévention précités à une peine de privation de liberté de 27 mois, avec sursis partiel - portant sur 21 mois - pendant un délai d'épreuve de 5 ans, ainsi qu'à une amende de 200 francs. Plus subsidiairement, il conclut à l'annulation du jugement entrepris et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il sollicite en outre le bénéfice de l'assistance judiciaire.