Faits: A. M._ était employé de X._ depuis le 1er janvier 2006. Il a quitté cet établissement en résiliant son contrat de travail avec effet au 31 juillet 2009. Dès le 1er août 2009, il a travaillé pour le compte de Y._ Sàrl, à C._, dont il était devenu associé-gérant depuis le 27 juillet 2009. Il possédait l'intégralité du capital social s'élevant à 25'000 fr. Le 15 décembre 2009, M._ a cédé à son épouse E._ la totalité des parts sociales de Y._ Sàrl. Celle-ci est devenue associée-gérante de la société avec signature individuelle; son époux continuait d'exercer les fonctions de directeur avec le même mode de signature. Ces changements ont été inscrits au Registre du commerce de V._. Y._ Sàrl a résilié le contrat de travail de M._ par courrier du 23 février 2010, avec effet au 31 mars 2010 en raison des difficultés économiques et indiqué qu'elle envisageait une probable liquidation. M._ s'est inscrit comme demandeur d'emploi auprès de la commune de C._ le 2 mars 2010, en sollicitant l'octroi de prestations de chômage dès le 1er avril 2010. La radiation du prénommé en sa qualité de directeur de Y._ Sàrl a été inscrite au registre du commerce et publiée à la Feuille officielle suisse du commerce. Par décision du 11 mai 2010, la Caisse cantonale valaisanne de chômage a refusé le droit de M._ à l'indemnité de chômage dès le 1er avril 2010, au motif qu'il se trouvait toujours, par l'intermédiaire de son épouse, en position d'influencer de manière déterminante les décisions de l'employeur. M._ s'est opposé à cette décision en faisant valoir que l'ensemble des éléments (résiliation de tous les contrats de Y._ Sàrl y compris celui relatif au bail des locaux de la société, licenciement de tout le personnel, vente des actifs pour couvrir les passifs) démontrait clairement la fermeture de la société et la perte définitive en ce qui le concerne de la position assimilable à celle d'un employeur qu'il avait occupée. Par décision du 22 juin 2010, la Caisse cantonale de chômage a rejeté l'opposition. B. M._ a interjeté recours contre cette décision devant la Cour des assurances sociales du Tribunal cantonal valaisan. Au cours de la procédure, le prénommé a indiqué que Y._ Sàrl avait été dissoute par décision de l'assemblée générale du 26 août 2010. Sa nouvelle raison sociale était Y._ Sàrl en liquidation (selon inscription au registre du commerce). E._ occupait désormais la position de liquidatrice avec pouvoir de signature individuelle. Il a également exposé que le 20 septembre 2010, une commination de faillite avait été notifiée à la société et qu'au vu des liquidités disponibles, celle-ci ne pourrait acquitter le montant dû. Statuant par jugement du 20 janvier 2011, la juridiction cantonale a rejeté le recours. C. M._ interjette un recours en matière de droit public contre ce jugement dont il demande la réforme en ce sens qu'il a droit à l'indemnité de chômage, à titre principal, dès le 1er avril 2010 et, à titre subsidiaire, dès le 14 avril 2010. A titre plus subsidiaire, il demande l'annulation du jugement entrepris et le renvoi de la cause à la juridiction cantonale pour qu'elle statue dans le sens des considérants. La caisse cantonale de chômage déclare renoncer à se déterminer sur le recours et renvoie à sa décision sur opposition. Quant au Secrétariat d'Etat à l'économie, il a renoncé à se déterminer.