Faits : A. Par décision du 23 août 2012, le juge III du district de Sion a reconnu X._ coupable d'abus de confiance au préjudice de A._ et l'a condamné à une peine de dix mois d'emprisonnement ainsi qu'au versement à la prénommée d'un montant de 23'550 francs avec intérêts à 5% dès le 28 avril 2006 à titre de dommages-intérêts. Les frais et dépens étaient à sa charge. B. Par jugement du 10 mars 2014, la Cour pénale II du Tribunal cantonal du Valais a partiellement admis l'appel formé par X._ contre la décision de première instance et a ramené la durée de la peine d'emprisonnement à six mois. Elle a pour le reste confirmé le jugement de première instance, à cela près, que le montant de 23'550 francs avec intérêts à 5% dès le 28 avril 2006 devait être versé aux héritiers de A._, décédée le 8 décembre 2012. Les frais de la procédure d'appel ont été mis pour trois quarts à la charge du prévenu. En substance, la cour cantonale s'est fondée sur les faits suivants. X._ (né en 1938) et A._ (née en 1927) se sont liés d'amitié en 1997, alors qu'ils habitaient tous deux à H._. Leur attachement a perduré malgré les déménagements successifs du premier nommé qui s'est finalement installé en 2001 à I._, où A._ l'a rejoint quelques mois plus tard pour emménager dans un appartement sis au-dessus du sien. X._ lui rendait alors divers services, effectuant notamment ses paiements quotidiens. En 2006, A._ a transféré le solde de son compte d'épargne s'élevant à plus de 33'000 francs sur son compte-courant. Détenant la carte bancaire ainsi que le code de ce compte afin de procéder aux paiements de son amie, X._ a effectué sept retraits entre le 7 mars et le 13 avril 2006, pour un montant total de 29'500 francs, contre la volonté de cette dernière. Le 28 avril 2006, X._ a signé une "reconnaissance de dette" à teneur de laquelle il attestait notamment avoir retiré un montant de 28'000 francs sur le compte de A._, pour ses besoins personnels et s'engageait à rembourser de suite la somme de 4'000 francs, puis 450 francs par mois pendant 5 ans. Il s'est aussitôt acquitté d'un montant de 4'450 francs. C. X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement cantonal et conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il sollicite l'effet suspensif du recours en particulier s'agissant de la condamnation à verser le montant de 23'550 francs, ainsi que l'assistance judiciaire.