Faits:
A. Par jugement du 20 avril 2010, le Tribunal de police de l'arrondissement de l'Est vaudois a condamné X._, pour conduite d'un véhicule en état d'ébriété qualifiée, à 37 jours-amende, d'un montant unitaire de 300 francs. Il a en outre révoqué le sursis assortissant une peine pécuniaire de 60 jours-amende, à 300 fr. l'un, prononcée pour une infraction similaire le 8 mai 2008.
Par arrêt du 8 juin 2010, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._.
Par arrêt du 7 avril 2011 (6B_855/2010), la Cour de droit pénal du Tribunal fédéral a partiellement admis le recours de X._, a partiellement annulé l'arrêt attaqué et renvoyé la cause en instance cantonale pour nouvelle décision.
B. Par arrêt du 24 juin 2011, la Cour de cassation pénale du Tribunal cantonal vaudois a partiellement admis le recours, réformé le jugement du 20 avril 2010 en ce sens qu'elle a suspendu la peine de 37 jours-amende et fixé au condamné un délai d'épreuve de 5 ans, le jugement étant confirmé pour le surplus.
C. X._ forme un recours en matière pénale contre cet arrêt et conclut, sous suite de frais et dépens, principalement à sa réforme en ce sens que le sursis accordé par le jugement du 8 mai 2008 n'est pas révoqué, la nouvelle peine de 37 jours-amende n'étant quant à elle pas assortie du sursis. Subsidiairement, il conclut à l'annulation et au renvoi de la cause en instance cantonale pour nouvelle décision.
La cour cantonale s'est référée à son arrêt et le Ministère public a conclu au rejet du recours.

Considérant en droit:
1. 1.1 Le recourant se plaint d'une violation de l'<ref-law>. Selon lui, la cour cantonale aurait dû examiner si le prononcé d'une peine ferme pour la nouvelle infraction sans révoquer le sursis pour la peine antérieure suffisait à le détourner de la commission de nouvelles infractions. La cour cantonale ne pouvait pas sans autre discussion simplement révoquer le sursis antérieur et prononcer la nouvelle peine avec sursis.
1.2 Le principe de l'autorité de l'arrêt de renvoi, que prévoyait expressément l'art. 66 al. 1 aOJ, est un principe juridique qui demeure applicable sous la LTF (<ref-ruling> consid. 2 p. 335 et les arrêts cités). L'autorité cantonale est ainsi liée par ce qui a déjà été définitivement tranché par le Tribunal fédéral (<ref-ruling> consid. 3b p. 277; <ref-ruling> consid. 1 p. 74) et par les constatations de fait qui n'ont pas été attaquées devant lui (<ref-ruling> consid. 3d p. 277/278). Des faits nouveaux ne peuvent être pris en considération que sur les points qui ont fait l'objet du renvoi, lesquels ne peuvent être ni étendus ni fixés sur une base juridique nouvelle (<ref-ruling> consid. 5.2 p. 94). Enfin, les considérants de l'arrêt de renvoi lient les parties et le Tribunal fédéral lui-même. Celui-ci ne peut dès lors se fonder sur des considérations qu'il avait écartées ou dont il avait fait abstraction dans sa précédente décision (<ref-ruling> consid. 2 p. 95). Les parties ne peuvent quant à elles plus faire valoir, dans un nouveau recours de droit fédéral contre la nouvelle décision cantonale, des moyens que le Tribunal fédéral avait expressément rejetés dans l'arrêt de renvoi (<ref-ruling> consid. 4.2 p. 208) ou qu'il n'avait pas eu à examiner, les parties ayant omis de les invoquer dans la première procédure de recours, alors qu'elles pouvaient - et devaient - le faire (arrêt 2C_184/2007 du 4 septembre 2007, consid. 3.1; <ref-ruling> consid. 2 p. 95/96); elles ne peuvent pas non plus prendre des conclusions dépassant celles prises dans leur précédent recours devant le Tribunal fédéral (arrêt 5A_580/2010 du 9 novembre 2010 consid. 4.3).
1.3 Dans son arrêt du 7 avril 2011 (consid. 2.6), le Tribunal fédéral a reproché à la cour cantonale de n'avoir pas examiné si l'exécution de la peine prononcée le 8 mai 2008 par la révocation du sursis était suffisante pour détourner le recourant de la commission de nouvelles infractions et ainsi améliorer le pronostic à poser pour décider de l'octroi du sursis à la nouvelle peine, ni, inversement, comme elle aurait aussi pu le faire, si le refus du sursis à la nouvelle peine pouvait avoir un effet dissuasif suffisant, justifiant de renoncer à la révocation du sursis antérieur (cf. aussi <ref-ruling> consid. 4.5 cité dans l'arrêt de renvoi au consid. 2.1 in fine).
1.4 Dans le cadre du renvoi, la cour cantonale a admis que le sursis à la peine de 60 jours-amende prononcée le 8 mai 2008 devait être révoqué au motif que la récidive spéciale commise dans le délai d'épreuve montrait que le recourant avait trahi la confiance mise en lui, de sorte que le pronostic était sans conteste défavorable. Ces considérations ne violent pas le droit fédéral, ainsi que cela ressort du consid. 2.5 de l'arrêt du Tribunal fédéral du 7 avril 2011 (6B_855/2010).
Par ailleurs, dans ces circonstances, il n'est pas nécessaire d'examiner la question de savoir si le sursis assortissant la nouvelle peine infligée au recourant est également conforme au droit fédéral, tant il est évident que celui-ci ne sollicite le prononcé d'une peine ferme que dans l'hypothèse où cela permettrait de renoncer à la révocation du précédent sursis.
2. Vu l'issue de la procédure, les frais doivent être mis à la charge du recourant qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de cassation pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 janvier 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Paquier-Boinay