Faits:
A. J._, domicilié à C._, a travaillé depuis le 7 avril 2008 en qualité de comptable au service de la société X._ SA. Engagé par contrat de durée indéterminée, il exerçait son activité à B._. Les rapports de travail ont été résiliés par l'employeur avec effet au 31 août 2009 et l'intéressé a requis une indemnité de chômage à partir du 1er septembre suivant. Il a adressé à la Caisse cantonale neuchâteloise d'assurance-chômage (ci-après: la caisse de chômage) une attestation de l'employeur sur laquelle figuraient le timbre de la société et la signature d'une responsable administrative. Selon cette attestation, la délocalisation de l'administration de la société à N._ était à l'origine de la cessation des rapports de travail. Invité par la caisse de chômage à fournir des renseignements complémentaires sur les motifs de la résiliation des rapports de travail, l'employeur a indiqué que l'assuré avait rempli et signé lui-même l'attestation de l'employeur, que la délocalisation n'était pas le motif de résiliation et qu'il avait de nombreux reproches à faire à son ancien collaborateur. De son côté, l'assuré a reconnu avoir rempli lui-même l'attestation de l'employeur et apposé le nom d'une responsable de la société parce qu'aucun responsable n'avait accepté de le faire. En revanche, il a contesté avoir fourni de fausses indications et maintenu que le motif de congé était la délocalisation à N._.
Par deux décisions du 8 octobre 2009, confirmées sur opposition les 8 février et 19 mai 2010, la caisse de chômage a suspendu le droit de l'assuré à l'indemnité de chômage durant 31 jours pour chômage fautif et durant 20 jours pour avoir obtenu ou tenté d'obtenir indûment l'indemnité et pour avoir donné des indications fausses en particulier en ce qui concerne le motif de résiliation des rapports de travail. En ce qui concerne le chômage fautif, elle a considéré que l'assuré avait pris une semaine de vacances sans avertir son employeur, qu'il avait omis de participer à une séance de travail sans motif valable ni avertissement et refusé de se rendre de temps en temps à N._ pour y effectuer certaines tâches.
Par jugement du Tribunal de police du district de C._ du 29 avril 2010, J._ a été condamné à sept jours-amende à 50 fr. avec sursis pendant deux ans pour faux dans les titres et a été libéré de la prévention de refus de renseigner et de faux renseignements.
B. Saisie de recours contre les décisions sur opposition des 8 février et 19 mai 2010, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel a ordonné la jonction des causes et rejeté les recours par jugement du 21 février 2011.
C. J._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation en concluant, sous suite de frais et dépens, à l'octroi de l'indemnité de chômage dès le 1er septembre 2009 sans aucune suspension, subsidiairement au renvoi de la cause à la juridiction cantonale pour nouveau jugement au sens des considérants.
La caisse de chômage a conclu au rejet du recours, tandis que le Secrétariat d'Etat à l'économie (SECO) a renoncé à présenter des déterminations.

Considérant en droit:
1. Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2. Le litige porte, d'une part, sur la suspension du droit à l'indemnité de chômage de 20 jours prononcée par décision sur opposition du 8 février 2010 pour indications fausses données par l'assuré (art. 30 al. 1 let. e LACI) et obtention ou tentative d'obtention de prestations indues (art. 30 al. 1 let. f LACI) et, d'autre part, sur la suspension de 31 jours prononcée par décision sur opposition du 19 mai 2010 pour chômage fautif (<ref-law>).
Le jugement entrepris expose de manière exacte et complète les dispositions légales et règlementaires, ainsi que les principes jurisprudentiels applicables dans le cas particulier. Il suffit donc d'y renvoyer.
3. 3.1 La juridiction cantonale a confirmé la suspension du droit à l'indemnité de 20 jours prononcée par l'intimée par sa décision sur opposition du 8 février 2010. Certes, elle a considéré que dans la mesure où les conditions du droit à l'indemnité de chômage étaient en l'occurrence réalisées, il n'y avait pas lieu de prononcer une suspension du droit pour obtention ou tentative d'obtention de prestations indues (art. 30 al. 1 let. f LACI). En revanche, les conditions d'une suspension au sens de l'art. 30 al. 1 let. e LACI étaient réalisées, motif pris que l'assuré avait rempli de manière fausse un formulaire. La juridiction cantonale a constaté, en effet, qu'en remplissant lui-même l'attestation de l'employeur, en y apposant le timbre de la société, ainsi que le nom d'une responsable de celle-ci, l'intéressé avait délibérément créé l'apparence que le document avait été établi par l'employeur. Ce faisant, il avait consciemment trompé l'autorité, de sorte que la caisse de chômage n'avait pas fait un usage critiquable de son pouvoir d'appréciation conféré à l'<ref-law> (dans sa version - applicable en l'occurrence - en vigueur jusqu'au 31 mars 2011, figurant aujourd'hui à l'<ref-law>) en retenant une faute de gravité moyenne et en prononçant une suspension du droit à l'indemnité d'une durée de 20 jours.
3. 3.1 La juridiction cantonale a confirmé la suspension du droit à l'indemnité de 20 jours prononcée par l'intimée par sa décision sur opposition du 8 février 2010. Certes, elle a considéré que dans la mesure où les conditions du droit à l'indemnité de chômage étaient en l'occurrence réalisées, il n'y avait pas lieu de prononcer une suspension du droit pour obtention ou tentative d'obtention de prestations indues (art. 30 al. 1 let. f LACI). En revanche, les conditions d'une suspension au sens de l'art. 30 al. 1 let. e LACI étaient réalisées, motif pris que l'assuré avait rempli de manière fausse un formulaire. La juridiction cantonale a constaté, en effet, qu'en remplissant lui-même l'attestation de l'employeur, en y apposant le timbre de la société, ainsi que le nom d'une responsable de celle-ci, l'intéressé avait délibérément créé l'apparence que le document avait été établi par l'employeur. Ce faisant, il avait consciemment trompé l'autorité, de sorte que la caisse de chômage n'avait pas fait un usage critiquable de son pouvoir d'appréciation conféré à l'<ref-law> (dans sa version - applicable en l'occurrence - en vigueur jusqu'au 31 mars 2011, figurant aujourd'hui à l'<ref-law>) en retenant une faute de gravité moyenne et en prononçant une suspension du droit à l'indemnité d'une durée de 20 jours.
3.2 3.2.1 Par un premier moyen, le recourant nie avoir donné des indications fausses en faisant valoir, d'une part, qu'il n'a pas falsifié la signature de la responsable de la société mais seulement apposé le nom de celle-ci sur l'attestation de l'employeur et que, d'autre part, il n'a pas fait des déclarations mensongères, dès lors que les faits indiqués étaient vrais.
Ces allégations ne permettent pas de s'écarter du point de vue de la juridiction cantonale. Il faut en effet admettre que l'intéressé a donné des indications fausses au sens de l'art. 30 al. 1 let. e LACI en donnant à l'attestation en cause l'apparence trompeuse qu'elle avait été établie par l'employeur.
3.2.2 Par un second moyen, le recourant nie l'existence d'un comportement imputable à faute en alléguant qu'il n'avait pas eu d'intention dolosive et que son comportement avait été motivé par ses difficultés d'obtenir cette attestation auprès de son employeur et par son besoin urgent de percevoir l'indemnité de chômage.
Cette argumentation n'est pas non plus de nature à mettre en cause le point de vue de la juridiction précédente. En créant délibérément l'apparence que l'attestation avait été établie par l'employeur, le recourant ne saurait soutenir qu'il n'a pas agi avec conscience et volonté. Quant à ses objections fondées sur ses difficultés d'obtenir l'attestation auprès de son employeur, elles sont mal fondées comme l'ont pertinemment démontré les premiers juges dans le jugement attaqué, auquel il suffit de renvoyer.
3.2.3 Cela étant, la caisse de chômage était fondée à prononcer une suspension selon l'art. 30 al. 1 let. e LACI. Quant à la gravité de la faute retenue et la quotité de la suspension du droit à l'indemnité, elles ne sont pas non plus critiquables.
4. 4.1 La juridiction cantonale a confirmé la suspension du droit à l'indemnité de 31 jours prononcée par l'intimée par sa décision sur opposition du 19 mai 2010. A cet égard, elle a considéré que le point de savoir si le licenciement avait été motivé par le refus de l'intéressé de travailler sur le site de la société à N._ ou par une violation de ses obligations contractuelles pouvait rester indécis. D'une part, en effet, si une violation des obligations contractuelles était avérée, l'intéressé devait être considéré comme sans travail par sa propre faute au sens de l'<ref-law> en liaison avec l'<ref-law> et son droit à l'indemnité devait être suspendu pendant une durée de 31 jours pour faute grave. D'autre part, si le licenciement avait été motivé par le refus de l'intéressé de travailler sur le site de N._ de la société, un tel refus devait être qualifié également de faute grave justifiant une suspension de 31 jours, dans la mesure où la durée de déplacement entre le domicile et le lieu de travail n'était pas suffisamment longue pour libérer l'intéressé de l'obligation de conserver son emploi jusqu'à ce qu'il en retrouve un nouveau.
4.2 Les premiers juges ne pouvaient toutefois pas laisser indécise la cause du licenciement de l'assuré.
Tout d'abord, le refus de travailler sur le site de N._, s'il était véritablement à l'origine du licenciement, n'entraînerait pas nécessairement une suspension de l'indemnité pour faute grave. Selon l'<ref-law> (dans sa version - applicable en l'occurrence - valable jusqu'au 31 mars 2011 et reprise en substance à l'<ref-law>, en vigueur depuis le 1er avril 2011), il y a faute grave lorsque l'assuré abandonne un emploi réputé convenable sans être assuré d'obtenir un nouvel emploi ou lorsqu'il refuse un emploi réputé convenable sans motif valable. La jurisprudence considère que lorsqu'un assuré peut se prévaloir d'un motif valable, il n'y a pas forcément faute grave même si les conditions de cette disposition réglementaire sont réalisées. Par motif valable, il faut entendre un motif qui fait apparaître la faute comme étant de gravité moyenne ou légère. Il peut s'agir, dans le cas concret, d'un motif lié à la situation subjective de la personne concernée ou à des circonstances objectives (<ref-ruling>). Ainsi, dans un arrêt C 230/01 du 22 mai 2001 (DTA 2003 n° 26 p. 248, consid. 3.3), le Tribunal fédéral des assurances a qualifié de faute de gravité moyenne - justifiant une suspension d'une durée de 19 jours - le refus d'un assuré d'accepter une modification du contrat de travail au sujet de la période durant laquelle il pouvait prendre ses vacances.
Ensuite, si comme l'a retenu la caisse de chômage dans sa décision sur opposition, l'employeur a motivé le licenciement par une violation par l'assuré de ses obligations contractuelles, il se pourrait néanmoins que cette violation ne soit pas établie (le jugement attaqué ne contient aucune constatation de fait à ce sujet). Dans ce cas, aucune sanction ne pourrait être prononcée en raison d'un chômage fautif. Dans le cas contraire, la durée de la suspension devrait être proportionnée à la gravité de la faute et n'entraînerait pas non plus forcément une suspension pour faute grave.
Dans ces conditions, il convient de renvoyer l'affaire à l'autorité précédente pour qu'elle instruise la cause sur le motif de licenciement et statue ensuite à nouveau sur la suspension du droit à l'indemnité en raison d'un chômage fautif.
5. Vu ce qui précède, le recours se révèle partiellement bien fondé.
Etant donné l'issue du litige, les frais de justice seront répartis entre les parties (<ref-law>). En outre, l'intimée, qui n'obtient que partiellement gain de cause, versera des dépens réduits au recourant (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis. Le chiffre 3 du dispositif du jugement de la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel du 21 février 2011, concernant la suspension pour chômage fautif, est annulé et la cause renvoyée à ladite juridiction pour complément d'instruction et nouveau jugement au sens des considérants. Le recours est rejeté pour le surplus.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis pour 250 fr. à la charge du recourant et pour 250 fr. à la charge de l'intimée.
3. L'intimée versera au recourant la somme de 1'400 fr. à titre de dépens réduits pour l'instance fédérale.
4. Le chiffre 4 du dispositif du jugement attaqué est annulé et le dossier renvoyé à la juridiction cantonale pour nouvelle décision sur les dépens de la procédure cantonale.
5. Le présent arrêt est communiqué aux parties, à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 9 mars 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
Le Greffier: Beauverd