Faits :
A.
Par décision du 23 août 2012, le juge III du district de Sion a reconnu X._ coupable d'abus de confiance au préjudice de A._ et l'a condamné à une peine de dix mois d'emprisonnement ainsi qu'au versement à la prénommée d'un montant de 23'550 francs avec intérêts à 5% dès le 28 avril 2006 à titre de dommages-intérêts. Les frais et dépens étaient à sa charge.
B.
Par jugement du 10 mars 2014, la Cour pénale II du Tribunal cantonal du Valais a partiellement admis l'appel formé par X._ contre la décision de première instance et a ramené la durée de la peine d'emprisonnement à six mois. Elle a pour le reste confirmé le jugement de première instance, à cela près, que le montant de 23'550 francs avec intérêts à 5% dès le 28 avril 2006 devait être versé aux héritiers de A._, décédée le 8 décembre 2012. Les frais de la procédure d'appel ont été mis pour trois quarts à la charge du prévenu.
En substance, la cour cantonale s'est fondée sur les faits suivants.
X._ (né en 1938) et A._ (née en 1927) se sont liés d'amitié en 1997, alors qu'ils habitaient tous deux à H._. Leur attachement a perduré malgré les déménagements successifs du premier nommé qui s'est finalement installé en 2001 à I._, où A._ l'a rejoint quelques mois plus tard pour emménager dans un appartement sis au-dessus du sien. X._ lui rendait alors divers services, effectuant notamment ses paiements quotidiens.
En 2006, A._ a transféré le solde de son compte d'épargne s'élevant à plus de 33'000 francs sur son compte-courant. Détenant la carte bancaire ainsi que le code de ce compte afin de procéder aux paiements de son amie, X._ a effectué sept retraits entre le 7 mars et le 13 avril 2006, pour un montant total de 29'500 francs, contre la volonté de cette dernière.
Le 28 avril 2006, X._ a signé une "reconnaissance de dette" à teneur de laquelle il attestait notamment avoir retiré un montant de 28'000 francs sur le compte de A._, pour ses besoins personnels et s'engageait à rembourser de suite la somme de 4'000 francs, puis 450 francs par mois pendant 5 ans. Il s'est aussitôt acquitté d'un montant de 4'450 francs.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement cantonal et conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
Il sollicite l'effet suspensif du recours en particulier s'agissant de la condamnation à verser le montant de 23'550 francs, ainsi que l'assistance judiciaire.

Considérant en droit :
1.
Se prévalant d'un établissement arbitraire des faits et de la violation de l'<ref-law> (art. 110 ch. 3 aCP) ainsi que de l'<ref-law>, le recourant reproche à l'autorité cantonale de ne pas lui avoir reconnu la qualité de "familier". Compte tenu de la plainte tardive de A._, le recourant soutient qu'il manquait une condition à la poursuite de l'action pénale et en déduit qu'il devrait être acquitté.
1.1. Les faits reprochés au recourant se sont produits en 2006, de sorte qu'ils sont antérieurs à l'entrée en vigueur, le 1 er janvier 2007, de la loi fédérale du 13 décembre 2002 modifiant la partie générale du code pénal suisse (RO 2006 3459, 3535). Les conditions de réalisation de l'infraction d'abus de confiance commis au préjudice des familiers (cf. <ref-law>) sont demeurées inchangées. Il en va de même de la définition de "familiers", telle qu'elle figure à l'<ref-law> (cf. art. 110 ch. 3 aCP). Aussi, l'examen de la question dans le cas présent ne commande pas de distinction entre l'ancien et le nouveau droit.
1.2. A teneur de l'<ref-law>, l'abus de confiance commis au préjudice des proches ou des familiers ne sera poursuivi que sur plainte.
Les familiers d'une personne sont ceux qui font ménage commun avec elle (<ref-law>). La notion de membres de la communauté domestique, comme celle de "proches", doit être interprétée restrictivement, compte tenu de l'intérêt de la société et de la justice à poursuivre l'auteur d'une infraction (ATF 74 IV 88 consid. 2 p. 91 s; 72 IV 4 consid. 1 p. 5 ss; arrêt 6B_263/2011 du 26 juillet 2012 consid. 5.2). Forment une communauté domestique deux ou plusieurs personnes qui mangent, vivent et dorment sous le même toit (<ref-ruling> consid. 2a p. 163). La cohabitation doit s'inscrire dans la durée et s'entend a priori comme le désir de vivre ensemble de manière stable pour une durée indéterminée (arrêt 6B_637/2012 du 21 janvier 2013 consid. 2.1).
La nature quasi familiale de la communauté domestique présuppose, en outre, que ses membres soient unis par une relation personnelle d'une certaine proximité, analogue à celle unissant un couple et/ou ses enfants. L'aspect psychologique ou émotionnel n'est cependant pas déterminant, faute pour les sentiments de pouvoir être appréciés avec la précision nécessaire à la sécurité du droit. Pour déterminer si l'auteur et le lésé forment une communauté domestique, seuls les critères objectifs sont déterminants. Enfin, le ménage commun doit exister au moment de la commission de l'infraction (arrêts 6B_637/2012 du 21 janvier 2013 consid. 2.1; 6B_263/2011 du 26 juillet 2012 consid. 5.2 et 5.3).
La forme privilégiée de l'infraction commise au préjudice de familiers est liée au souci de préserver le lien qui unit l'auteur au lésé (ATF 72 IV 4 consid. 1 p. 6; arrêt 6B_263/2011 du 26 juillet 2012 consid. 5.1). Elle vise à préserver l'unité familiale et la paix au sein du foyer en évitant une intervention d'office des autorités de poursuite pénale contre la volonté du titulaire du bien protégé (<ref-ruling> p. 159; 72 IV 4 consid. 1 p. 6).
1.3. La cour cantonale a retenu que le prévenu avait employé à son profit les valeurs patrimoniales qui lui avaient été confiées par A._ (cf. <ref-law>). Elle a par ailleurs relevé que, s'ils entretenaient des relations personnelles étroites, ils vivaient et dormaient toutefois dans des appartements séparés. Dans la mesure où la communauté de toit et de lit faisait défaut au moment des faits, elle a dénié la qualité de "familier" au prévenu au sens des <ref-law> et 110 al. 2 CP (cf. art. 110 ch. 3 aCP).
1.4. Le recourant ne conteste pas l'infraction retenue, il estime toutefois que la cour cantonale a arbitrairement omis de prendre en compte des éléments de faits figurant au dossier, qu'il qualifie de primordiaux dans le cadre de l'examen de sa qualité de "familier".
1.4.1. Le Tribunal fédéral est lié par les faits constatés par l'autorité précédente (<ref-law>). Le recourant ne peut critiquer la constatation des faits, susceptibles d'avoir une influence sur l'issue du litige, que si ceux-ci ont été établis de manière manifestement inexacte (art. 97 al. 1 et 105 al. 2 LTF), c'est-à-dire arbitraire (cf. <ref-ruling> consid. 2.1 p. 450; sur la notion d'arbitraire voir par ex.: <ref-ruling> consid. 6.1 p. 379 et les arrêts cités). En bref, pour qu'il y ait arbitraire, il ne suffit pas que la décision attaquée apparaisse discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat.
1.4.2. La qualité de "familier" a été déniée, faute pour le recourant et la lésée d'avoir vécu en communauté de toit et de lit.
Les déclarations de l'entourage de A._, dont se prévaut le recourant, relatives à la "liaison" qu'ils entretenaient de sorte qu'ils formaient un "couple", étant précisé qu'elle était "éprise" de lui et l'accueillait souvent chez elle, ne sont pas pertinentes, dans la mesure où elles portent sur la nature de leur relation et non sur les critères objectifs fondant la communauté domestique. En effet, ces éléments ne permettent pas d'établir que les intéressés faisaient ménage commun et vivaient sous un même toit, comme l'exige l'<ref-law>.
C'est en vain que le recourant allègue qu'il lui faisait ses lessives, lui préparait à manger ou qu'ils allaient ensemble chez le médecin traitant. D'ailleurs, contrairement à ce que prétend le recourant, la cour cantonale a expressément relevé que ce dernier rendait divers services à A._, que cette dernière avait déménagé à I._ pour le rejoindre (cf. jugement entrepris consid. 2.2.1 p. 9) et qu'ils se rendaient à la banque ensemble (cf. jugement entrepris consid. 2.2.2 p. 10), de sorte qu'il ne saurait rien déduire de plus de ses propres déclarations relatives à l'intensité de leur relation. Sauf à confirmer que les intéressés ne vivaient et dormaient pas sous le même toit ( "Elle descendait ensuite chez moi pour lire (...) ", "après le dîner commun, elle remontait chez elle pour une sieste" mémoire de recours ch. 1 p. 5 in fine, cf. PV des débats d'appel du 23 janvier 2014 p. 3), les déclarations du recourant lors des débats d'appel ne lui sont d'aucune utilité.
Faute pour le recourant d'apporter des éléments de fait susceptibles d'avoir une influence sur l'issue du litige, son grief est infondé.
1.5. Le recourant estime qu'il doit bénéficier de la forme privilégiée de l'infraction d'abus de confiance en sa qualité de "familier". Il fonde son argumentation sur la doctrine qui, tout en relevant l'interprétation restrictive de la notion de "familiers", énonce que cette qualité a été admise à titre exceptionnel dans la jurisprudence cantonale, pour des pensionnaires d'un établissement pour personnes âgées ou des élèves d'un pensionnat (cf. ANDREAS ECKERT, in Basler Kommentar, Strafrecht I, 3ème éd. 2013, n° 5 ad <ref-law>; Yvan Jeanneret, in Commentaire romand, Code pénal I, n° 4 ad <ref-law>).
Le recourant établit un parallèle entre les institutions susmentionnées et l'immeuble dans lequel les intéressés vivaient, puisqu'ils disposaient d'appartements situés l'un au-dessus de l'autre, et insiste à nouveau sur le fait que leur mode de vie correspondait à une communauté domestique. Ce faisant, il omet que l'interprétation restrictive de la notion de "familiers" implique non seulement une communauté de table, mais également une communauté de toit et de lit, comme il est d'usage entre les membres d'une famille (<ref-ruling> p. 159; 72 IV 4 consid. 1 p. 6 s.), ce précisément afin de préserver l'unité familiale et la paix au sein du foyer. Le recourant ne saurait donc rien déduire en sa faveur des arrêts cantonaux susmentionnés, lesquels ne traitent au demeurant pas des aspects communautaires, mais uniquement du lien de proximité entre les résidents, respectivement entre les élèves de l'internat (arrêt du Tribunal cantonal zurichois du 18 juin 1962 in Blätter für zürcherische Rechtsprechung [ZR], 1962, n° 148 p. 340 et arrêt du 8 décembre 1944 in ZR, 1945, n° 25 p. 81 s.).
En l'espèce, la qualité de familier n'ayant pas été déniée sur la base d'un lien trop ténu entre les intéressés, c'est en vain que le recourant allègue qu'il était lié à A._ par une relation personnelle de proximité. En effet, la nature de la relation ne réalise pas, à elle seule, les éléments objectifs de la cohabitation constituant la communauté domestique (cf. arrêt 6B_637/2012 du 12 janvier 2013 consid. 2.2).
Dans la mesure où la forme privilégiée de l'infraction commise au préjudice de familiers vise en particulier à préserver la paix au sein d'un même foyer, l'on ne saurait reconnaître cette qualité aux voisins d'immeuble, aussi proches soient-ils, et quand bien même ils passeraient leur quotidien ensemble. Cela reviendrait à interpréter l'art. 138 ch. 1 al. 4 en lien avec l'<ref-law> (art. 110 ch. 3 aCP) de manière large, contrairement à ce que préconise la jurisprudence constante en la matière.
Mal fondé, le grief du recourant doit être rejeté.
2.
Condamné à six mois d'emprisonnement ferme, le recourant ne met pas en cause le genre de la peine ni sa quotité. Il critique toutefois le refus d'assortir sa peine du sursis et allègue qu'il présentait un pronostic favorable.
2.1. Le nouveau droit pose des exigences moins élevées dans le cadre de l'établissement du pronostic pour l'octroi du sursis que l'ancien droit. Auparavant, il fallait que le pronostic soit favorable; désormais, il suffit qu'il n'y ait pas de pronostic défavorable (cf. arrêts 6B_43/2007 du 12 novembre 2007 consid. 3.3.2 non publié in <ref-ruling>; 6S.80/2007 du 22 mai 2007 consid. 3.1). Aussi, le sursis sera examiné sous l'angle du nouveau droit, en vertu du principe de la lex mitior (<ref-law>).
2.2. Aux termes de l'<ref-law>, le juge suspend en règle générale l'exécution d'une peine privative de liberté de six mois au moins et de deux ans au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner l'auteur d'autres crimes ou délits.
Pour l'octroi du sursis, le juge doit poser un pronostic quant au comportement futur de l'auteur. En l'absence de pronostic défavorable, il doit prononcer le sursis. Celui-ci est ainsi la règle dont le juge ne peut s'écarter qu'en présence d'un pronostic défavorable ou hautement incertain (<ref-ruling> consid. 4.2.2 p. 5). Pour émettre ce pronostic, le juge doit se livrer à une appréciation d'ensemble, tenant compte des circonstances de l'infraction, des antécédents de l'auteur, de sa réputation et de sa situation personnelle au moment du jugement, notamment de l'état d'esprit qu'il manifeste. Il doit tenir compte de tous les éléments propres à éclairer l'ensemble du caractère de l'accusé et ses chances d'amendement. Il ne peut accorder un poids particulier à certains critères et en négliger d'autres qui sont pertinents (<ref-ruling> consid. 4.2.1 p. 5). Le défaut de prise de conscience de la faute peut justifier un pronostic défavorable, car seul celui qui se repent de son acte mérite la confiance que l'on doit pouvoir accorder au condamné bénéficiant du sursis (arrêts 6B_281/2013 du 16 juillet 2013 consid. 5.1; 6S.489/2005 du 12 avril 2006 consid. 1.3). Toutefois, le seul refus de collaborer à l'instruction, respectivement le déni des infractions commises, ne permet pas de tirer des conclusions sur la prise de conscience du condamné et de motiver le refus du sursis. Le juge doit, au contraire, rechercher les raisons qui motivent ce refus puis les confronter à l'ensemble des éléments pertinents pour le pronostic (<ref-ruling> consid. 2a p. 259; arrêts 6B_619/2012 du 18 décembre 2012 consid. 4.2; 6B_610/2008 du 2 décembre 2008 consid. 4.2.3).
2.3. L'autorité cantonale a considéré que, si le recourant remplissait les conditions objectives du sursis (peine privative de liberté de six mois), il en allait différemment des conditions subjectives, puisqu'il avait été condamné à de multiples reprises pour des infractions comparables et qu'il avait démontré, tout au long de la procédure, qu'il n'avait absolument pas pris conscience de la gravité de ses actes. Il avait notamment persisté à contester les faits qui lui étaient reprochés, niant l'évidence, allant jusqu'à laisser planer des soupçons sur la santé mentale de sa victime au moment des faits. Cela augurait mal des perspectives d'amendement, ce d'autant qu'il avait persisté dans la délinquance, alors même qu'il venait tout juste de faire appel d'un jugement le condamnant à trois ans de réclusion pour escroquerie par métier. Sur la base de ces éléments, la cour cantonale a posé un pronostic défavorable.
2.4. Le recourant reproche à la cour cantonale d'avoir omis de prendre en considération certains éléments dans l'établissement de son pronostic.
Il ressort de la décision cantonale que la peine a été fixée en tenant compte notamment de l'âge et de la santé physique du recourant (cf. jugement entrepris, consid. 6.2.1 p. 22 et 23). Ce dernier n'expose toutefois pas en quoi ces circonstances influenceraient le pronostic. D'ailleurs, force est de constater que ce n'est ni son âge au moment des faits reprochés, ni son état de santé, qui ont empêché le recourant de commettre les retraits litigieux au préjudice d'une amie, de sorte que ces circonstances personnelles ne favorisent en rien ses perspectives d'amendement.
S'agissant du fait que le prévenu n'a pas commis de nouvelles infractions depuis huit ans, il n'est d'aucune pertinence, dès lors qu'un tel comportement correspond à ce que l'on doit pouvoir attendre de tout un chacun (arrêts 6B_479/2011 du 24 novembre 2011 consid. 1.3.3; 6B_889/2010 du 24 mai 2011 consid. 4.2).
Par ailleurs, en niant l'évidence et en s'en prenant à la santé mentale de sa victime, le recourant a adopté un comportement allant au-delà d'un simple refus de collaborer à l'instruction (notamment par crainte de la sanction). Ce dernier dénote d'un défaut de prise de conscience qu'il convient de prendre en compte dans l'établissement du pronostic. C'est à ce titre d'ailleurs que la cour cantonale a retenu un manque de scrupule ou de conscience de sa faute, et non en raison de ses seules dénégations, contrairement à ce que suggère le recourant.
Enfin, il sied de relever que les faits reprochés ont été accomplis en avril 2006, soit peu après qu'une peine de trois ans de réclusion avait été prononcée par jugement du 3 octobre 2005 pour escroquerie par métier, décision donnant lieu à un jugement sur appel du 11 décembre 2006, selon lequel l'aggravante du métier a été abandonnée et la peine ramenée à quinze mois de réclusion (cf. dossier cantonal p. 267 ss). Quand bien même une telle récidive ne permet pas de présumer un pronostic défavorable en application de l'<ref-law>, faute pour le jugement de première instance d'être entré en force avant la commission des faits reprochés ( SCHNEIDER/GARRÉ in Basler Kommentar, Strafrecht I, 3 ème éd. 2013, n° 89 ad <ref-law>), elle constitue un élément important en défaveur du recourant, en particulier compte tenu de la similitude des infractions dont il est question.
2.5. Au vu de l'ensemble de ces éléments, la cour cantonale n'a pas abusé de son pouvoir d'appréciation en considérant que le pronostic était défavorable et que seule l'exécution de la peine pouvait détourner le recourant de commettre de nouvelles infractions. Le grief du recourant doit être rejeté.
Au surplus, on constate qu'au vu de la peine maximale de cinq ans de peine privative de liberté prévue par l'<ref-law> (équivalente à une peine de cinq ans de réclusion ou de l'emprisonnement sous l'ancien droit, cf. <ref-ruling> consid. 7.2.1 p. 89), la sanction prononcée en l'espèce ne paraît pas excessive au regard des éléments à charge et à décharge retenus par l'autorité cantonale. C'est enfin à juste titre que la peine a été fixée de manière indépendante et non complémentaire à celle prononcée le 3 octobre 2005 par le Tribunal du II ème arrondissement de Sion, réduite le 11 décembre 2006 par le Tribunal cantonal du Valais, dès lors que les infractions reprochées en l'espèce sont ultérieures au jugement de première instance (cf. art. 68 ch. 2 aCP; <ref-law>).
3.
Au vu de ce qui précède, le recours doit être rejeté, ce qui rend sans objet la demande d'effet suspensif. Le recourant a requis le bénéfice de l'assistance judiciaire. Comme ses conclusions étaient dépourvues de chance de succès, celle-ci ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois arrêté en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'600 francs, sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour pénale II.
Lausanne, le 19 juin 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Boëton