Faits:
A. Par jugement du 15 septembre 2010, le Tribunal correctionnel de l'arrondissement de Lausanne a renoncé à ordonner la réintégration de X._ dans un établissement pénitentiaire pour y subir le solde de la peine prononcée à son encontre le 5 octobre 1998 et pour laquelle la libération conditionnelle lui avait été accordée le 26 janvier 2001. Il a par ailleurs mis à la charge de X._ les frais de justice ainsi que l'indemnité allouée à son défenseur d'office, pour le cas où sa situation économique s'améliorerait.
B. Les faits sur lesquels repose ce jugement sont en substance les suivants.
B.a Le 5 octobre 1998, X._ a été condamné à 4 ans et 6 mois de réclusion par le Tribunal correctionnel d'Yverdon-les-Bains. Dans le même jugement, cette autorité a révoqué un sursis accordé le 29 janvier 1996 pour une peine de 45 jours d'emprisonnement et ordonné un traitement psychiatrique.
Le 24 janvier 2001, la libération conditionnelle a été accordée à X._ avec un délai d'épreuve de 5 ans.
B.b A la suite de l'ouverture d'une nouvelle enquête à l'encontre de X._, la Cour de cassation pénale du Tribunal cantonal vaudois a, par arrêt rendu le 8 août 2006 sur recours de l'intéressé, renoncé à révoquer la libération conditionnelle, réservant le jugement à intervenir dans la nouvelle enquête alors pendante. Elle a en revanche prolongé de deux ans et demi le délai d'épreuve.
B.c Par jugement du Tribunal correctionnel de l'arrondissement de Lausanne du 12 juin 2008, X._ a été condamné à une peine privative de liberté de 10 mois, peine partiellement complémentaire à une autre, prononcée par le Juge d'instruction de l'Est vaudois le 22 avril 2002. Ce jugement, qui ne statuait pas sur la question de la révocation de la libération conditionnelle, a été confirmé par arrêt du 3 octobre 2008 de la Cour de cassation pénale. Sur recours du condamné, le Tribunal fédéral a, le 16 septembre 2009, renvoyé la cause à l'autorité cantonale afin qu'elle rende une nouvelle décision concernant la nature de la peine prononcée, à la suite de quoi la cour cantonale a condamné X._ à 300 jours-amende à 30 fr. le jour. Cet arrêt est entré en force.
B.d Le 17 avril 2009, l'Office d'exécution des peines a saisi l'Office du Juge d'application des peines d'une demande tendant à la révocation éventuelle de la libération conditionnelle. Le 8 mai 2009, le Juge d'application des peines a décliné sa compétence en faveur du Tribunal correctionnel. Statuant en application du nouveau droit, cette autorité a estimé qu'il n'y avait pas lieu d'ordonner la réintégration de X._ dans un établissement pénitentiaire pour qu'il y subisse le solde de sa peine. Les frais de justice, y compris une indemnité en faveur de son défenseur d'office, ont été entièrement mis à sa charge au motif que son comportement avait été seul à l'origine de la procédure de réintégration.
C. Par arrêt du 25 octobre 2010, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté, dans la mesure où il était recevable, le recours formé par X._ contre ce jugement, qu'elle a confirmé. Elle a considéré d'une part que l'omission de statuer sur la procédure en révocation de la libération conditionnelle n'impliquait pas la déchéance du droit de statuer ultérieurement et d'autre part que les actes du condamné avaient seuls déclenché la procédure de révocation.
D. X._ forme un recours en matière pénale contre cet arrêt. Invoquant une violation de l'<ref-law>, il conclut, avec suite de frais et dépens, à ce qu'il soit constaté que le Tribunal correctionnel ne pouvait se prononcer sur sa réintégration dans une procédure subséquente. Il conclut par ailleurs à ce que l'arrêt attaqué soit réformé en ce sens que les frais de justice des deux instances cantonales, y compris l'indemnité versée à son conseil d'office, sont laissés à la charge de l'Etat.

Considérant en droit:
1. Le recourant reproche à l'autorité cantonale d'avoir violé l'<ref-law>. Il soutient qu'une éventuelle réintégration ne pouvait être prononcée que dans le jugement qui statuait sur la nouvelle infraction et que, saisi à tort subséquemment, le Tribunal correctionnel ne pouvait que constater qu'il avait été implicitement renoncé à toute réintégration. Dans ces circonstances, les frais de la procédure devaient être laissés à la charge de l'Etat, lui-même ayant supporté l'entier des frais du jugement qui devait se prononcer sur la révocation de la liberté conditionnelle.
Tiré d'une violation de l'<ref-law>, le grief du recourant porte en réalité exclusivement sur la question des frais. C'est d'ailleurs sur la question des frais uniquement que le recourant a un intérêt juridique à recourir (<ref-law>). Il ne peut ainsi formellement être entré en matière que sur la conclusion tendant à la suppression des frais.
Les décisions cantonales ayant été rendues avant l'entrée en vigueur du CPP, elles l'ont été en application de l'ancienne réglementation, en vertu de laquelle la répartition des frais et dépens est une question de droit cantonal. Or, le recours en matière pénale n'est pas ouvert pour se plaindre d'une violation du droit cantonal (cf. art. 95 et 96 LTF, a contrario). Le Tribunal fédéral ne peut contrôler l'application de celui-ci que sous l'angle restreint de l'arbitraire (art. 9 Cst.) et dans le cadre d'un moyen pris de la violation d'un droit constitutionnel du citoyen, soulevé expressément et motivé avec la précision requise par l'<ref-law>.
En l'espèce, le recourant expose son grief tiré d'une prétendue violation de l'<ref-law> puis soutient n'être pas à l'origine de la procédure. Il en conclut que les frais devaient être laissés à la charge de l'Etat. Il ne mentionne toutefois aucune disposition de droit cantonal qui aurait été violée et, a fortiori, ne montre pas en quoi une telle disposition aurait été appliquée arbitrairement. Le recours est donc irrecevable, faute d'une motivation satisfaisant aux exigences de l'<ref-law>.
2. Comme les conclusions du recours étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour de cassation pénale du Tribunal cantonal vaudois.
Lausanne, le 7 novembre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Paquier-Boinay