Faits:
A. Par jugement du 27 juin 2011, le Tribunal du 2ème arrondissement du district de Sion a condamné X._ pour tentative de meurtre, escroquerie, détournement de valeurs patrimoniales mises sous main de la justice, calomnie, violation de domicile et faux dans les titres à une peine privative de liberté de 30 mois, sous déduction de la détention avant jugement, peine partiellement complémentaire à celles prononcées les 6 juillet 2005 par le Tribunal de districts de Martigny et St-Maurice et 20 novembre 2007 par le Tribunal correctionnel de l'arrondissement de Lausanne. Il a en outre révoqué le sursis octroyé par le jugement du 20 novembre 2007 à la peine de 9 mois d'emprisonnement.
B. Saisie d'un appel de X._, la Cour pénale du Tribunal cantonal du Valais a partiellement réformé le jugement entrepris, en ce sens qu'elle a jugé que le sursis à l'exécution de la peine de 9 mois d'emprisonnement n'était pas révoqué, et l'a confirmé pour le surplus. S'agissant de la tentative de meurtre, la Cour pénale s'est fondée en substance sur les éléments de fait suivants.
A la fin de l'année 2008, X._ et A.Y._ ont entrepris des pourparlers contractuels qui portaient sur la vente notamment de matériaux d'isolation et de rouleaux de bitume. Les parties ont convenu d'un prix de vente de 5'250 francs. A.Y._, après avoir acheté ces matériaux à X._, entendait les vendre à un certain C._. Le 7 janvier 2009, X._ s'est entretenu avec celui-ci, qui lui a déclaré que le prix de vente arrêté avec A.Y._ était de 7'500 francs.
Le 8 janvier 2009, X._ a eu deux entretiens téléphoniques avec A.Y._ qui portaient notamment sur le paiement du prix de la vente précitée.
Les intéressés se sont rencontrés vers 15h30 sur un parking, à Sion. A.Y._ a pris place dans le véhicule de X._. Celui-ci a démarré avant de s'arrêter quelques mètres plus loin. A.Y._ a saisi cette opportunité pour quitter l'habitacle. Il a déposé le montant de 5'000 francs sur le siège qu'il occupait.
Un montant de 250 francs restait impayé. X._, armé d'un couteau dissimulé sous sa veste, est sorti du véhicule et a rejoint A.Y._. Il a réclamé le paiement du solde dû, sans succès. Il s'est alors précipité sur A.Y._, qui se retournait pour prendre la fuite, et lui a porté un coup de couteau à la hauteur du cou. Il est ensuite parti avec son véhicule après que A.Y._ a cherché à l'en empêcher en criant à l'aide. Ce dernier a été conduit en ambulance au service des urgences de l'hôpital de Sion.
C. X._ interjette un recours en matière pénale au Tribunal fédéral. Il conclut à l'annulation du jugement attaqué, à ce qu'il soit uniquement condamné pour calomnie, détournement de valeurs patrimoniales mises sous main de justice et violation de domicile avec sursis complet et à ce que sa peine soit atténuée. Il requiert l'effet suspensif. Il sollicite l'assistance judiciaire.

Considérant en droit:
1. Le recourant invoque le principe in dubio pro reo et l'interdiction de l'arbitraire en rapport avec l'infraction de tentative de meurtre.
1.1 Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (art. 105 al. 1 LTF), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire (art. 9 Cst.; sur cette notion, voir <ref-ruling> consid. 6.1 p. 379) dans la constatation des faits. La recevabilité de tels griefs suppose l'articulation de critiques circonstanciées, claires et précises, répondant aux exigences de motivation accrues déduites de l'art. 106 al. 2 LTF (<ref-ruling> consid. 1.4 p. 287). Les critiques appellatoires sont, en particulier, irrecevables (cf. <ref-ruling> consid. 5.1 p. 356). Dans la mesure où les développements du recourant tendent uniquement à démontrer que l'autorité cantonale aurait dû éprouver un doute, les griefs déduits de la présomption d'innocence n'ont pas de portée propre par rapport à l'arbitraire invoqué dans l'établissement des faits (<ref-ruling> consid. 2a p. 41; <ref-ruling> consid. 2c p. 37).
1.2 Le recourant, qui a soutenu en appel avoir été en état de légitime défense, conteste l'appréciation des preuves effectuée par la cour d'appel. Selon lui, les déclarations de B.Y._, épouse de A.Y._, ont été écartées arbitrairement. La cour cantonale avait conclu qu'il était le seul armé alors que, depuis le début de l'instruction, il avait affirmé que A.Y._ était muni d'un couteau lors de l'altercation, ce que B.Y._ avait confirmé.
1.3 Selon la cour cantonale, le recourant n'était pas crédible lorsqu'il affirmait que A.Y._ avait caché un couteau immédiatement après qu'il fut parti. Les témoins qui avaient assisté à une partie du déroulement des faits, alertés par les cris et appels à l'aide de A.Y._, n'avaient décrit aucun comportement susceptible de rendre plausible qu'il cherchait à se débarrasser d'un objet en le dissimulant quelque part. Ils s'étaient déplacés pour lui porter secours et n'avaient constaté la présence d'aucun couteau. La police, dépêchée sur les lieux, n'avait pas non plus trouvé de couteau dans les vêtements du blessé. Les déclarations de l'épouse de la victime sur lesquelles le recourant se fondait n'étaient pas crédibles. D'une part, elles étaient intervenues près de deux ans après les faits, alors que les époux avaient suspendu la vie commune et que leurs relations étaient conflictuelles, alors qu'initialement les propos de l'intéressée corroboraient ceux de son mari. D'autre part, elles étaient contradictoires. Dans un premier temps, elle avait indiqué s'être rendue sur place pour rechercher sans succès le couteau de son mari, alors qu'aux débats d'appel, elle avait déclaré avoir trouvé l'arme à l'endroit indiqué par son époux. Le récit de A.Y._ était en revanche resté constant pour l'essentiel. Il n'avait pas cherché d'une manière quelconque à exagérer les actes du recourant et avait reconnu qu'il ne s'était pas acquitté de l'intégralité du prix de vente. Enfin, les déclarations du recourant comportaient aussi de nombreuses contradictions et incohérences.
Le recourant ne discute aucun élément du raisonnement cantonal. Il se borne à critiquer le refus de prendre en considération le témoignage de l'épouse de A.Y._ sans indiquer en quoi la motivation de la cour d'appel qui a justifié les raisons de son appréciation pour l'écarter de manière claire et précise serait arbitraire. Le grief est irrecevable. Pour le surplus, le recourant n'émet aucune autre critique sur l'appréciation des preuves qui a conduit les juges cantonaux à retenir une tentative de meurtre et ne discute pas la qualification de l'infraction.
2. Le recourant conteste la peine qui lui a été infligée. Il invoque une violation des art. 19 al. 2, 47 et 48 let. e CP. Il soutient qu'outre une diminution de la quotité de la sanction, il aurait dû être mis au bénéfice d'un sursis complet.
2.1 On renvoie en ce qui concerne les principes régissant la fixation de la peine aux arrêts publiés aux <ref-ruling> (consid. 5.4 ss p. 59 ss) et 134 IV 17 (consid. 2.1 p. 19 et les références citées). En particulier, en cas de diminution de la responsabilité pénale, le juge doit, d'abord, décider sur la base des constatations de fait de l'expertise dans quelle mesure la responsabilité pénale de l'auteur doit être restreinte sur le plan juridique et comment cette diminution de la responsabilité se répercute sur l'appréciation de la faute. La faute globale doit être qualifiée et désignée expressément dans le jugement (art. 50 CP). Ensuite, le juge doit déterminer la peine hypothétique qui correspond à cette faute. La peine ainsi fixée peut enfin être modifiée en raison de facteurs liés à l'auteur (<ref-ruling> consid. 5.5 s. p. 59 s.; arrêt 6B_1092/2009 du 22 juin 2010 consid. 2.2.2).
Quant aux conditions permettant d'assortir une peine de privation de liberté de 24 mois au plus du sursis ou du sursis partiel, il est renvoyé à l'<ref-ruling> (cf. consid. 4 p. 4 ss, plus spécifiquement au consid. 4.2.3 p. 6 s. en ce qui concerne la récidive au sens de l'art. 42 al. 2 CP, ainsi qu'au consid. 5 p. 9 ss, en particulier le consid. 5.5.2 p. 14 s; cf. également l'arrêt 6B_492/2008 du 19 mai 2009 consid. 3, non publié à l'<ref-ruling>).
2.2 Le recourant reproche à tort à l'autorité cantonale de ne pas avoir atténué sa peine alors que l'expertise psychiatrique démontrait que sa responsabilité était, de manière globale, légèrement à moyennement diminuée.
Il ressort en effet du jugement entrepris que la faute du recourant, qualifiée de très grave, a été atténuée dans le sens d'une faute moyenne à grave pour tenir compte de sa légère diminution de responsabilité. En outre, contrairement à ce que le recourant soutient, la cour d'appel a également apprécié sa situation personnelle, tant sur le plan professionnel que familial, et relevé qu'il était suivi sur le plan médical. Le grief est infondé.
2.3 Le recourant reproche à l'autorité cantonale de lui avoir refusé le sursis au regard de ses antécédents judiciaires qui se révèlent être en partie inexacts s'agissant de la condamnation à neuf mois d'emprisonnement avec sursis prononcée par défaut par jugement du Tribunal correctionnel de l'arrondissement de Lausanne du 20 novembre 2007. Il produit un jugement du même tribunal du 29 avril 2008 qui relève le défaut et le libère du chef d'accusation de recel et de toute peine.
2.3.1 Selon l'art. 99 al. 1 LTF, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Le recourant ne peut en particulier se fonder sur des faits ou moyens de preuve nouveaux qu'il était en mesure de présenter devant l'autorité précédente et dont il devait discerner la pertinence éventuelle (cf. arrêt 5A_222/2011 du 10 novembre 2011 consid. 3.1 et les références citées). Le recourant doit exposer dans quelle mesure les conditions nécessaires à une présentation ultérieure de moyens de preuve sont remplies (<ref-ruling> consid. 3 p. 395).
2.3.2 Il ne ressort pas du jugement entrepris que le jugement du 29 avril 2008 ait été soumis à la cour d'appel. Le recourant ne s'en est pas prévalu dans sa déclaration d'appel contre le jugement de première instance alors que le sursis lui avait été refusé en particulier au regard de la condamnation du 20 novembre 2007. Il soutient que l'état de fait du jugement attaqué est incomplet sans exposer, et a fortiori démontrer, que ce jugement avait été présenté à la cour d'appel, ou à tout le moins, figurait dans le dossier cantonal et qu'elle aurait arbitrairement omis d'en tenir compte. L'extrait du casier judiciaire ne comporte que la mention du jugement de condamnation du 20 novembre 2007. Le jugement du 29 avril 2008 constitue donc un moyen de preuve nouveau, irrecevable devant la cour de céans au sens de l'art. 99 al. 1 LTF, qui ne permet pas de remettre en cause les constatations de fait de l'arrêt entrepris. Il pourra, le cas échéant, constituer un moyen de révision au sens de l'art. 410 CPP (<ref-ruling> consid. 2).
2.4 Le recourant n'émet au surplus aucune autre critique en relation avec les critères de fixation de la peine et n'invoque aucune autre violation du droit fédéral à cet égard. A défaut de toute critique recevable au regard de l'art. 42 al. 2 LTF, il n'y a pas lieu d'examiner plus avant ces aspects.
3. Le recours doit être rejeté dans la mesure où il est recevable. Le recourant a requis le bénéfice de l'assistance judiciaire. Comme ses conclusions étaient dépourvues de chance de succès, celle-ci ne peut être accordée (art. 64 al. 1 LTF). Le recourant devra donc supporter les frais (art. 66 al. 1 LTF), dont le montant sera toutefois arrêté en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'600 francs, sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du Valais, IIe Cour pénale.
Lausanne, le 10 mai 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben