Faits :
A.
A._, né en 1976, travaillait depuis le 1 er novembre 2011 en qualité de responsable de secteur auprès de la société B._ SA (boulanger-traiteur). Le contrat de travail prévoyait un salaire mensuel brut de 6'300 fr.; en sus, durant les trois premiers mois, l'employé recevait une prime sur objectif de 500 fr. par mois versée à la fin de la période d'essai concluante. Dès le 1 er février 2012, l'employé devait recevoir une prime sur objectif variable sur un montant cible de 1'000 fr. par mois versée trimestriellement en fonction des objectifs atteints.
Le 6 août 2012, l'employeur a résilié les rapports de travail avec effet au 30 septembre 2012, date reportée au 31 octobre suivant en raison d'une période de protection. Le 10 septembre 2012, A._ s'est annoncé au chômage et a requis l'octroi des indemnités journalières à partir du 1 er novembre 2012.
Invité par la caisse de chômage à fournir des renseignements sur les motifs de la résiliation des rapports de travail, l'employeur a indiqué, par lettre du 3 décembre 2012, que A._ n'était pas d'accord avec le calcul de ses primes et le montant de son salaire. Il a joint la copie d'un avertissement du 1 er juin 2012 ainsi que la réponse de l'assuré du 12 juin 2012. L'employeur a ajouté que dès lors que la motivation de l'intéressé n'était plus en accord avec ses attentes, le contrat de travail avait été résilié. De son côté, l'assuré a expliqué que lors de son engagement, l'employeur lui avait promis un salaire avec une prime variable atteignable facilement, voire dépassable. Or, dans les faits, cette prime avait été impossible à réaliser. A l'issue d'un entretien ayant eu lieu le 6 août 2012, l'assuré pensait qu'une solution avait été trouvée en supprimant les primes de sa rémunération; il avait dès lors été étonné de recevoir la lettre de licenciement.
Par décision du 19 décembre 2012, la Caisse cantonale de chômage (ci-après: la caisse) a prononcé la suspension du droit de l'assuré à l'indemnité de chômage d'une durée de 31 jours dès le 1 er novembre 2012 pour faute grave. Elle a considéré que " par son attitude, plus particulièrement par l'insistance démontrée quant à son mécontentement relatif aux primes d'objectifs ", l'assuré avait donné des raisons à son employeur de le licencier. L'assuré ayant formé opposition contre cette décision, la caisse l'a rejetée par une nouvelle décision du 17 janvier 2013.
B.
Par jugement du 19 juin 2013, la Cour des assurances sociales du Tribunal cantonal du Valais a rejeté le recours formé par l'assuré contre la décision sur opposition du 17 janvier 2013.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande principalement l'annulation et, subsidiairement, la suspension du droit à l'indemnité de chômage en raison d'une faute légère pour une durée maximale d'un jour. Plus subsidiairement encore, le recourant conclut au renvoi de la cause à l'autorité précédente pour complément d'instruction au sens des considérants.
L'intimée et le Secrétariat d'Etat à l'économie ont renoncé à se déterminer.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
2.1. Le litige porte sur le point de savoir si la caisse intimée était fondée, par sa décision sur opposition du 17 janvier 2013, à suspendre le droit du recourant à l'indemnité de chômage pour une durée de 31 jours, motif pris que son comportement a donné lieu à la résiliation des rapports de travail.
2.2. Le jugement entrepris expose de manière exacte et complète les dispositions légales et règlementaires, ainsi que les principes jurisprudentiels applicables dans le cas particulier. Il suffit donc d'y renvoyer.
3.
Invoquant tour à tour une constatation manifestement inexacte des faits, une violation du principe de l'instruction (<ref-law>) ainsi que la violation des <ref-law> (RS 837.0) et 44 al. 1 let. a OACI (RS 837.02), le recourant reproche en substance aux premiers juges d'avoir retenu qu'il avait été licencié par sa propre faute. Il soutient que l'attitude qui lui est reprochée était justifiée par la légitimité de ses revendications salariales, ce que les premiers juges avaient omis ou refusé d'examiner.
4.
4.1. Dans la mesure où le recourant prétend que son employeur lui avait assuré, lors de son engagement, que les objectifs à la base des primes pouvaient être facilement atteints, il présente une version des faits qui diverge de celle retenue par les premiers juges, sans démontrer en quoi ceux-ci auraient été établis de manière arbitraire (cf. <ref-law>). En effet, la juridiction précédente a retenu qu'en prévoyant une prime variable pouvant aller jusqu'à 1'000 fr. lorsque les objectifs auraient été pleinement atteints, le contrat de travail ne promettait nullement une prime systématique de 1'000 fr., les termes " variable " et " en fonction des objectifs atteints " attestant plutôt du contraire.
4.2. En ce qui concerne le comportement reproché au recourant, les premiers juges ont retenu que lors d'un premier entretien ayant eu lieu le 25 mai 2012, le recourant avait exposé le " malentendu " à son employeur, lequel avait toutefois refusé d'entrer en matière sur un mode de fixation des primes différent de celui appliqué aux autres responsables de secteur. Le 1 er juin 2012, l'employeur avait adressé un avertissement au recourant afin que ce dernier change son attitude. L'employé avait été invité à confirmer par écrit son éventuel désaccord avec les règles de calcul des primes. L'employeur avait ajouté que, sans réponse à ce courrier, il prendrait acte que l'intéressé souhaitait poursuivre leur collaboration. Les 12 juin et 6 août 2012, le recourant avait encore requis que son salaire de base soit revu à la hausse, continuant, selon les premiers juges toujours, à manifester sa démotivation et son mécontentement relatif au mode de fixation des objectifs, respectivement de ses primes.
4.3. Après avoir reçu un avertissement, le recourant devait savoir que son employeur ne reviendrait plus sur les critères de fixation de ses primes et ne pouvait ignorer qu'il risquait d'être licencié s'il persistait dans ses revendications salariales. L'insistance du recourant, malgré deux entretiens et un avertissement, à réclamer une prime dont il n'est pas établi qu'il y avait droit - il ne prétend pas avoir fait valoir après coup une prétention à ce titre devant un tribunal -, était par conséquent propre à créer une situation conflictuelle dont rien ne permet de dire qu'elle était justifiée par des manquements de l'employeur. Dans ces circonstances, on pouvait au moins exiger de l'assuré qu'il s'accommode transitoirement de ses conditions salariales, de manière à éviter le chômage.
4.4. Vu ce qui précède, une suspension du droit du recourant à l'indemnité de chômage était justifiée en application des <ref-law> et 44 let. a OACI.
5.
Par un moyen subsidiaire, le recourant conteste la durée de la suspension en faisant valoir qu'en tout état de cause, il n'a pas commis une faute grave mais tout au plus une faute légère. A l'appui de ce grief, il fait valoir que le licenciement est intervenu alors qu'il avait fait part de son mécontentement face aux objectifs fixés, ce qui constituait pour lui une modification unilatérale du contrat réduisant son salaire de manière injustifiée.
Selon la jurisprudence, même en cas de modification sensible du contrat, le travailleur doit accepter les nouvelles conditions de travail dans l'attente de pouvoir retrouver un autre emploi correspondant mieux à ses attentes. Lorsque l'assuré doit clairement s'attendre à devoir subir du chômage s'il n'accepte pas les nouvelles conditions de travail, sa faute est grave ( BORIS RUBIN, Commentaire de la loi sur l'assurance-chômage, 2014, n° 28 ad <ref-law>). Cela vaut, à plus forte raison, lorsqu'il n'est pas établi, comme en l'espèce, que les conditions de salaire aient été revues à la baisse par rapport aux conditions fixées initialement.
6.
Vu ce qui précède, le jugement attaqué n'est pas critiquable et le recours se révèle mal fondé. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal valaisan, Cour des assurances sociales, et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 7 juillet 2014
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : La Greffière :
Ursprung Fretz Perrin