Faits : A. Par jugement du 1 er octobre 2013, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a notamment reconnu X._ coupable d'homicide par négligence, instigation à induction de la justice en erreur, opposition ou dérobade aux mesures visant à déterminer l'incapacité de conduire, violation des devoirs en cas d'accident et conduite sous retrait de permis. Il l'a condamné à une peine privative de liberté de 2 ans et à une amende de 500 francs. Il a également été condamné au versement d'une indemnité à titre de tort moral en faveur des proches de la victime, A._. B. Saisie d'un appel de X._, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a, par jugement du 20 février 2014, ramené la peine privative de liberté à 20 mois, suite à la reconnaissance par le prévenu de sa responsabilité pénale en audience de débats. Elle a pour le reste confirmé la décision de première instance. B.a. Le jugement cantonal repose en substance sur les faits suivants. Le 13 septembre 2011 vers 19h40, nonobstant son retrait de permis, X._ circulait au volant du véhicule que lui avait prêté le passager Y._, à C._ sur la route de transit Lausanne/St-Maurice. Alors qu'il longeait un quartier d'habitation et conversait avec le passager, il n'a pas prêté l'attention nécessaire à la route et a été surpris par la présence de deux fillettes de 9 et 10 ans, venant de sa gauche, traversant rapidement la route en dehors d'un passage protégé. Malgré un freinage d'urgence et une tentative d'évitement, l'avant gauche de la voiture conduite par le prévenu a percuté le corps de l'enfant A._, laquelle fut projetée quelques mètres plus loin sur la chaussée. Elle est décédée des lésions traumatiques causées par l'accident le 24 septembre 2011. Tout de suite après les faits, Y._ a, avec l'accord de X._, repris le volant et déplacé le véhicule sur le bord de la chaussée, sans opérer de marquage préalable. Toujours avec l'accord de celui-ci, le premier nommé a déclaré mensongèrement aux policiers intervenus sur place qu'il était le conducteur du véhicule impliqué dans l'accident. La vérité est apparue aux enquêteurs le 21 septembre 2011, rendant impossible toute mesure visant à établir un éventuel état d'incapacité de conduire de X._ au moment de l'accident. B.b. Entre 2005 et 2011, le prévenu a été condamné à quatre reprises à des peines privatives de liberté fermes de respectivement 20 jours et 2 mois et à des peines pécuniaires de respectivement 60 et 90 jours-amende à 30 fr., pour conduite sans permis de conduire. A teneur d'une ordonnance de condamnation du 30 novembre 2005, il avait déjà été condamné auparavant à trois reprises entre 1997 et 2003, dont une fois pour infraction à la LCR. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut, avec suite de frais et dépens à sa réforme, principalement en ce sens qu'il est condamné à une peine privative de liberté inférieure à 20 mois, subsidiairement qu'il est condamné à une peine privative de liberté avec sursis, à tout le moins avec sursis partiel. Il sollicite en outre l'octroi de l'effet suspensif du recours ainsi que l'assistance judiciaire.