Faits :
A.
Par jugement du 1 er octobre 2013, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a notamment reconnu X._ coupable d'homicide par négligence, instigation à induction de la justice en erreur, opposition ou dérobade aux mesures visant à déterminer l'incapacité de conduire, violation des devoirs en cas d'accident et conduite sous retrait de permis. Il l'a condamné à une peine privative de liberté de 2 ans et à une amende de 500 francs. Il a également été condamné au versement d'une indemnité à titre de tort moral en faveur des proches de la victime, A._.
B.
Saisie d'un appel de X._, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a, par jugement du 20 février 2014, ramené la peine privative de liberté à 20 mois, suite à la reconnaissance par le prévenu de sa responsabilité pénale en audience de débats. Elle a pour le reste confirmé la décision de première instance.
B.a. Le jugement cantonal repose en substance sur les faits suivants.
Le 13 septembre 2011 vers 19h40, nonobstant son retrait de permis, X._ circulait au volant du véhicule que lui avait prêté le passager Y._, à C._ sur la route de transit Lausanne/St-Maurice. Alors qu'il longeait un quartier d'habitation et conversait avec le passager, il n'a pas prêté l'attention nécessaire à la route et a été surpris par la présence de deux fillettes de 9 et 10 ans, venant de sa gauche, traversant rapidement la route en dehors d'un passage protégé. Malgré un freinage d'urgence et une tentative d'évitement, l'avant gauche de la voiture conduite par le prévenu a percuté le corps de l'enfant A._, laquelle fut projetée quelques mètres plus loin sur la chaussée. Elle est décédée des lésions traumatiques causées par l'accident le 24 septembre 2011.
Tout de suite après les faits, Y._ a, avec l'accord de X._, repris le volant et déplacé le véhicule sur le bord de la chaussée, sans opérer de marquage préalable. Toujours avec l'accord de celui-ci, le premier nommé a déclaré mensongèrement aux policiers intervenus sur place qu'il était le conducteur du véhicule impliqué dans l'accident. La vérité est apparue aux enquêteurs le 21 septembre 2011, rendant impossible toute mesure visant à établir un éventuel état d'incapacité de conduire de X._ au moment de l'accident.
B.b. Entre 2005 et 2011, le prévenu a été condamné à quatre reprises à des peines privatives de liberté fermes de respectivement 20 jours et 2 mois et à des peines pécuniaires de respectivement 60 et 90 jours-amende à 30 fr., pour conduite sans permis de conduire.
A teneur d'une ordonnance de condamnation du 30 novembre 2005, il avait déjà été condamné auparavant à trois reprises entre 1997 et 2003, dont une fois pour infraction à la LCR.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut, avec suite de frais et dépens à sa réforme, principalement en ce sens qu'il est condamné à une peine privative de liberté inférieure à 20 mois, subsidiairement qu'il est condamné à une peine privative de liberté avec sursis, à tout le moins avec sursis partiel.
Il sollicite en outre l'octroi de l'effet suspensif du recours ainsi que l'assistance judiciaire.

Considérant en droit :
1.
Le recourant qui, en audience d'appel, a retiré ses moyens dirigés contre la condamnation pour homicide par négligence, ne s'en prend pas au verdict de culpabilité. Son recours porte exclusivement sur la quotité de la peine ainsi que sur le sursis.
Il reproche à la cour cantonale d'être tombée dans l'arbitraire en ne réduisant la peine prononcée en première instance que de quatre mois. Dans la mesure où il se fonde sur l'<ref-law> pour contester la quotité de la peine, l'on comprend que le recourant se plaint d'une violation du droit fédéral sur ce point.
1.1. Selon l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
Pour fixer la peine, le juge dispose d'un large pouvoir d'appréciation. Il y a toutefois violation du droit fédéral lorsque le juge sort du cadre légal, se fonde sur des critères étrangers à l'<ref-law>, omet de prendre en considération des éléments d'appréciation prévus par cette disposition ou, enfin, si la peine qu'il prononce est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 5.6 p. 61; <ref-ruling> consid. 2.1 p. 19 s.).
1.2. A l'instar des juges de première instance, qui ont retenu à la charge du prévenu ses lourds antécédents, son caractère égoïste, l'atteinte portée à la vie (bien juridique le plus important de l'ordre public) d'une enfant, ainsi que le concours d'infraction, l'autorité cantonale a considéré que la culpabilité du prévenu était lourde. Estimant que la faute de circulation à l'origine du décès était de gravité moyenne, elle a toutefois tenu compte des autres infractions commises, nombreuses et graves, en particulier la conduite sous retrait de permis, rappelant que le prévenu était condamné pour la sixième fois pour ce motif, dont deux fois à des peines privatives de liberté fermes. Elle en a déduit qu'il montrait une insensibilité à la sanction pénale, justifiant une peine sévère. A cela s'ajoutaient le déplacement du véhicule ainsi que l'induction de la justice en erreur, comportements présentant le prévenu sous un jour très défavorable, à l'instar de ses dénégations jusqu'à l'audience d'appel.
A décharge, l'autorité cantonale a pris en compte l'admission par le prévenu, lors des débats de deuxième instance, de sa responsabilité dans l'accident. Cela laissait entrevoir un début de prise de conscience qui justifiait de réduire de quatre mois la peine prononcée en première instance.
1.3. S'agissant de ses antécédents, le recourant reproche à la cour cantonale de s'être fondée sur ses précédentes condamnations à des peines d'emprisonnement fermes pour conclure à une insensibilité à la sanction pénale. Il fait valoir que ces peines ont été exécutées sous la forme de travaux d'intérêt général.
Or l'autorité cantonale ne s'est pas prononcée sur le mode d'exécution des sanctions, elle a simplement relevé le type de peines auxquelles le prévenu a été condamné, soit à deux reprises, des peines privatives de liberté fermes, ce que le recourant ne conteste pas. Ces condamnations ne l'ont pas empêché de récidiver. Partant, la cour cantonale pouvait déduire de sa récidive, faisant suite à une quintuple condamnation pour des infractions en matière de circulation routière sur une période de moins de dix ans, que le prévenu est insensible à la sanction pénale, sans violation du droit fédéral (cf. arrêts 6B_533/2011 du 10 novembre 2011 consid. 7.1; 6B_14/2007 du 17avril 2007 consid. 6.4 sur la question de la vulnérabilité du délinquant face à la sanction).
1.4. Le recourant s'écarte de manière inadmissible de l'état de fait retenu par l'autorité cantonale, qui lie la cour de céans (<ref-law>), lorsqu'il prétend qu'il a pleinement pris conscience de ses actes et montré une réelle empathie pour la famille de la victime, allant jusqu'à qualifier son comportement de louable. En effet, il est rappelé que l'admission de sa responsabilité est intervenue près de deux ans et demi après les faits, à l'occasion de l'audience de deuxième instance, alors même que le recourant avait fait appel de sa condamnation pour homicide par négligence. Compte tenu du contexte, la reconnaissance et les excuses intervenues tardivement ne sauraient justifier une atténuation plus importante de la peine, étant précisé que cette dernière a été ramenée à 20 mois en raison d'une prise de conscience partielle de la responsabilité pénale du prévenu. Son moyen est rejeté dans la mesure où il est recevable.
1.5. En se fondant sur des extraits des déclarations résultant de l'audition de trois témoins, le recourant affirme qu'il n'a rien pu faire pour éviter la fillette qui s'était lancée sur la route. Il reproche à la cour cantonale de ne pas en avoir tenu compte en sa faveur dans la qualification du degré de la faute puis, implicitement, dans le cadre de la fixation de la peine. Il relativise toutefois cette affirmation en admettant qu'il aurait pu porter davantage d'attention à la route (mémoire de recours 1.1 c) p. 5).
S'il est établi que les fillettes ont traversé rapidement la route en dehors d'un passage protégé (jugement entrepris consid. 2.2 p. 13), les juges de première instance ont toutefois relevé, sur la base d'une inspection locale et de diverses estimations de vitesse, en tenant compte de la version la plus favorable au prévenu, que celui-ci avait fait preuve d'une inattention crasse puisque les fillettes étaient parfaitement visibles sur plusieurs dizaines de mètres avant le choc (jugement de première instance, consid. II.2.c-f p. 39-43 et II.4.ac p. 46). Il ne ressort pas de la décision cantonale que cet aspect factuel ait été contesté, le recourant ne soulève d'ailleurs aucun grief tiré de l'arbitraire sur ce point (cf. <ref-law>). Partant, son moyen doit être rejeté.
1.6. S'agissant de sa capacité de conduire, le recourant se contente d'affirmer qu'à chaque condamnation pour conduite sous retrait de permis, aucun excès de vitesse ou conduite sous influence d'alcool ou de stupéfiants ne lui a été reproché. Il n'expose pas les conséquences qu'il entend en tirer. En tout état, le fait d'être condamné une sixième fois pour conduite sous retrait de permis est en soi un critère à retenir à charge du prévenu, ce d'autant qu'il s'agit d'une infraction grave (cf. art. 16c al. 1 let. f LCR). L'absence d'autres types d'antécédents en matière de circulation routière est sans pertinence dans le cadre de la fixation de la peine, étant rappelé que l'absence d'antécédent en soi est un critère neutre (cf. <ref-ruling> consid. 2.6.4 p. 3). C'est également en vain qu'il allègue qu'aucun élément au dossier ne permet de considérer qu'il était sous l'emprise de l'alcool ou de stupéfiants, ou qu'il conduisait à une vitesse excessive au moment où il a percuté l'enfant, dans la mesure où rien de cela ne lui est reproché en l'espèce.
1.7. En définitive, le recourant n'avance aucun élément pertinent permettant de remettre en question la quotité de la peine.
2.
Le recourant prétend avoir été directement atteint par les conséquences de son acte et considère qu'une atténuation de sa peine en application de l'<ref-law> se justifie.
2.1. A teneur de l'<ref-law>, si l'auteur a été directement atteint par les conséquences de son acte au point qu'une peine serait inappropriée, l'autorité compétente renonce à le poursuivre, à le renvoyer devant le juge ou à lui infliger une peine (cf. art. 66bis aCP dont les principes demeurent valables; <ref-ruling> consid. 2.3). L'<ref-law> est violé si cette règle n'est pas appliquée dans un cas où une faute légère a entraîné des conséquences directes très lourdes pour l'auteur ou, à l'inverse, si elle est appliquée dans un cas où une faute grave n'a entraîné que des conséquences légères pour l'auteur. Entre ces extrêmes, le juge doit prendre sa décision en analysant in concreto les circonstances du cas et il dispose d'un large pouvoir d'appréciation, de sorte que sa décision ne sera annulée que s'il en a abusé (cf. <ref-ruling> consid. 2d p. 175; <ref-ruling> consid. 2a p. 247 s.).
Lorsque l'application de l'<ref-law> n'est pas d'emblée exclue, le juge doit d'abord apprécier la culpabilité de l'auteur, conformément à l'<ref-law>, sans égard aux conséquences que l'acte a entraînées pour celui-ci, puis mettre en balance la faute commise et les conséquences subies. Si cet examen révèle que l'auteur a déjà été suffisamment puni par les conséquences de son acte et qu'une autre sanction ne se justifie plus, il renoncera à prononcer une peine. Il se peut toutefois qu'une exemption totale n'entre pas en considération, mais que l'importance de l'atteinte directe subie par l'auteur justifie de réduire la quotité de la peine, que le juge devra alors atténuer en faisant usage de son pouvoir d'appréciation (cf. <ref-ruling> consid. 2d p. 175; <ref-ruling> consid. 1 p. 281 ss).
Plus la faute est lourde, plus les conséquences touchant la personne de l'auteur doivent être graves pour rendre la peine inadéquate (ATF <ref-ruling> consid. 2b). L'auteur est directement atteint par les conséquences de son acte s'il a subi des atteintes physiques - par exemple s'il a été blessé lors de l'accident qu'il a provoqué - ou psychiques - comme celles qui affectent une mère de famille devenue veuve par suite de l'accident de la circulation qu'elle a causé (ATF <ref-ruling> consid. 2b p. 283) - résultant de la commission même de l'infraction. En revanche, les désagréments dus à l'ouverture d'une instruction pénale, le paiement de frais de procédure, la réparation du préjudice, ainsi que la dégradation de la situation financière, le divorce ou le licenciement consécutifs à l'acte délictueux, ne constituent que des conséquences indirectes de l'infraction, sans pertinence au regard de l'<ref-law> (cf. ATF <ref-ruling> consid. 2a p. 247).
2.2. Après avoir énuméré les circonstances à charge, la cour cantonale a exclu l'application de l'<ref-law>, dès lors qu'elles l'emportaient à l'évidence sur l'atteinte que le prévenu prétendait avoir subie, ce dernier paraissant surtout se lamenter sur son sort et vouloir se poser en victime.
2.3. Le recourant se méprend lorsqu'il se prévaut d'une atténuation de la peine en lien avec l'infraction de conduite sous retrait de permis. En effet, dans la mesure où l'<ref-law> ne peut trouver application qu'en lien avec l'infraction dont les conséquences ont directement atteint l'auteur (<ref-ruling> consid. 2.3.4 p. 111), le grief doit être examiné en lien avec l'homicide par négligence. Les autres infractions qui lui sont reprochées (instigation à induction de la justice en erreur, opposition ou dérobade aux mesures visant à déterminer l'incapacité de conduire, violation des devoirs en cas d'accident et conduite sous retrait de permis) ne sont en tout état pas couvertes par l'<ref-law>.
2.4. En tant que le recourant affirme qu'il a "déjà trop souffert suite à cet accident"et que cela lui "bouffe la vie", il s'écarte de manière inadmissible de l'état de fait cantonal, lequel retient qu'il paraît surtout se lamenter sur son sort et vouloir se poser en victime (<ref-law>; cf. jugement entrepris consid. 3.2 p. 18). La référence à un article de presse retranscrivant sa propre interview ne lui est d'aucun secours, ce d'autant que le tribunal de première instance l'a assimilée à des lamentations (cf. jugement de première instance consid. 9 p. 52), sans que cela ne soit discuté en appel.
Par ailleurs, il ne ressort pas de la décision entreprise que les médias et réseaux sociaux n'auraient "pas été tendres avec lui", de sorte qu'une telle affirmation est irrecevable (<ref-law>). En tout état, ce type d'atteinte ne serait qu'une conséquence indirecte de l'infraction commise, excluant l'application de l'<ref-law>. Le simple fait qu'il soit père de famille ne suffit pas pour retenir qu'il serait particulièrement touché par la mort d'une enfant qui lui était au demeurant parfaitement inconnue.
Le recourant se fonde sur un certificat médical du 25 septembre 2013 faisant état d'une affectation profonde, physique et morale, en raison de l'événement tragique du 13 septembre 2011. Or il n'est pas fait mention de ce document dans la décision entreprise et le recourant ne prétend pas qu'il aurait été omis de manière arbitraire (<ref-law>). Quoi qu'il en soit, de telles constatations médicales ne permettent pas de retenir que le recourant serait directement et gravement touché par les conséquences de son acte, du moins pas davantage que n'importe quel responsable d'un accident de la circulation ayant entraîné la mort d'une personne qui n'est pas un proche. La seule atteinte perceptible en l'espèce serait liée à l'ouverture de la procédure et ne découle par conséquent pas directement de l'acte délictuel, au sens de la jurisprudence précitée.
A cet égard, il sied de rappeler que le recourant a persisté à nier toute responsabilité pénale en lien avec l'accident jusqu'en audience d'appel, allant jusqu'à mettre en cause le comportement de la victime dans son mémoire de recours auprès de la cour de céans. Une telle démarche est incompatible avec ses développements visant à bénéficier de l'application de l'<ref-law>.
2.5. Compte tenu de ces éléments et de la gravité de la faute du recourant, l'application de l'<ref-law> était d'emblée exclue, comme l'a relevé à bon droit la cour cantonale.
3.
Le recourant estime enfin qu'une peine privative de liberté ferme n'est pas nécessaire pour le détourner d'autres crimes et délits. Il invoque une violation de l'<ref-law> et reproche à la cour d'appel d'avoir refusé le sursis complet, subsidiairement, le sursis partiel, après avoir formulé un pronostic défavorable.
3.1. Lorsque la durée de la peine privative de liberté se situe, comme en l'espèce, entre un et deux ans, permettant donc le choix entre le sursis complet (<ref-law>) et le sursis partiel (<ref-law>), l'octroi du sursis au sens de l'art. 42 est la règle et le sursis partiel l'exception. Celui-ci ne doit être prononcé que si, sous l'angle de la prévention spéciale, l'octroi du sursis pour une partie de la peine ne peut se concevoir que moyennant exécution de l'autre partie. La situation est comparable à celle où il s'agit d'évaluer les perspectives d'amendement en cas de révocation du sursis (<ref-ruling>). Lorsqu'il existe - notamment en raison de condamnations antérieures - de sérieux doutes sur les perspectives d'amendement de l'auteur, qui ne permettent cependant pas encore, à l'issue de l'appréciation de l'ensemble des circonstances, de motiver un pronostic concrètement défavorable, le tribunal peut accorder un sursis partiel au lieu du sursis total. On évite de la sorte, dans les cas de pronostics très incertains, le dilemme du " tout ou rien ". Un pronostic défavorable, en revanche, exclut tant le sursis partiel que le sursis total (<ref-ruling> consid. 5.3.1 p. 10).
S'agissant du pronostic, le point de savoir si le sursis est de nature à détourner l'accusé de commettre de nouvelles infractions doit être tranché sur la base d'une appréciation d'ensemble, tenant compte des circonstances de l'infraction, des antécédents de l'auteur, de sa réputation et de sa situation personnelle au moment du jugement, notamment de l'état d'esprit qu'il manifeste. Le pronostic doit être posé sur la base de tous les éléments propres à éclairer l'ensemble du caractère de l'accusé et ses chances d'amendement. Il n'est pas admissible d'accorder un poids particulier à certains critères et d'en négliger d'autres qui sont pertinents. Le juge doit par ailleurs motiver sa décision de manière suffisante (voir <ref-law>); sa motivation doit permettre de vérifier s'il a été tenu compte de tous les éléments pertinents et comment ils ont été appréciés (cf. <ref-ruling> consid. 4.2.1 p. 5). Le juge dispose d'un large pouvoir d'appréciation en la matière (<ref-ruling> consid. 5.2. p. 9).
3.2. La cour cantonale a relevé que le recourant avait été condamné à six reprises pour des infractions de circulation routière (en 2003, 2005, 2006, 2010 et 2011), la dernière fois quelques mois avant l'accident mortel. Elle en a déduit une propension durable à ne pas respecter les règles de la circulation routière. Elle a également retenu que le recourant avait persisté longtemps à nier sa responsabilité dans l'accident et avait déterminé son passager à induire les autorités de poursuite pénales en erreur. Retenant par ailleurs une prise de conscience très incomplète, elle a formulé un pronostic clairement défavorable et a refusé l'octroi du sursis.
3.3. S'agissant des antécédents, le recourant allègue que le sursis ne saurait lui être refusé, dans la mesure où les peines infligées n'ont pas excédé les 180 jours-amende (cf. <ref-law>). Ce faisant, il omet qu'indépendamment de la quotité des peines prononcées, les antécédents constituent un facteur défavorable dans l'examen du caractère du prévenu et de ses chances d'amendement (cf. supra consid. 3.1). En l'espèce, la récidive est d'autant plus significative au vu de la persistance du comportement délictuel (nombre de condamnations et type d'infractions).
3.4. Il n'y a pas lieu de revenir sur sa prétendue prise de conscience ainsi que sur l'empathie qu'il allègue avoir pour la famille (cf. supra consid. 1.4). En tant qu'il déclare qu'une peine ferme "satisfera évidemment les parties plaignantes" (cf. mémoire de recours ch. 1.2 b) p. 7), il entre en contradiction avec ce qui précède et échoue à mettre en cause le pronostic défavorable formulé par l'autorité cantonale. A ce titre, c'est en vain qu'il tente de justifier son absence de compassion en arguant que la mère de la victime avait refusé tout contact avec lui jusqu'à l'audience d'appel, étant précisé qu'il a nié toute responsabilité pénale dans l'accident jusqu'alors. Le fait qu'il dédommage la famille de la victime par le versement de mensualités ne permet pas de renverser le pronostic défavorable, dans la mesure où il ne fait qu'honorer une reconnaissance de dette convenue en audience de première instance, sans qu'elle ne vaille reconnaissance de responsabilité (cf. jugement de première instance p. 29).
3.5. Le recourant n'est pas recevable à se prévaloir de la reprise récente d'une activité lucrative qui constitue un fait nouveau (cf. <ref-law>). Par ailleurs, il n'expose pas dans quelle mesure sa situation économique et ses prétendues souffrances, au demeurant non établies (cf. supra consid. 2.4), auraient une influence sur son pronostic.
Son absence de récidive depuis les faits reprochés n'est d'aucune pertinence, dès lors qu'un tel comportement correspond à ce que l'on doit pouvoir attendre de tout un chacun (arrêts 6B_348/2014 du 19 juin 2014 consid. 2.4; 6B_479/2011 du 24 novembre 2011 consid. 1.3.3).
Enfin, l'affirmation selon laquelle le recourant aurait collaboré tout au long de la procédure s'écarte de manière inadmissible de l'état de fait retenu en instance cantonale (<ref-law>).
3.6. Au vu de ce qui précède, la cour cantonale n'a pas abusé du pouvoir d'appréciation qui lui revient en ce domaine en concluant à un pronostic défavorable quant au comportement futur du recourant en liberté. L'octroi d'un sursis, tant complet que partiel, est donc exclu. Le grief du recourant est rejeté dans la mesure de sa recevabilité.
4.
Le recours doit être rejeté dans la mesure où il est recevable. Il était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique (art. 65 al. 2 et 66 al. 1 LTF).
La cause étant tranchée, la requête d'effet suspensif devient sans objet. Elle l'était, au demeurant, de toute manière en vertu de l'<ref-law>.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 18 juillet 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : La Greffière :
Mathys Boëton