Faits:
A. Par jugement du 7 novembre 2008, le Tribunal correctionnel de l'arrondissement de La Côte a condamné par défaut X._ à une peine privative de liberté de 6 ans pour abus de confiance, escroquerie, gestion déloyale, gestion fautive, blanchiment d'argent et infraction à la loi fédérale sur l'acquisition d'immeubles par des personnes à l'étranger.
X._ a formé une première demande de relief qui a été rejetée par prononcé du 8 décembre 2008 rendu par le Président du Tribunal correctionnel. Par arrêt du 9 novembre 2009, la Cour de cassation pénale du Tribunal cantonal vaudois a admis le recours interjeté par X._ contre ce prononcé et a renvoyé la cause en première instance pour statuer sur la demande de relief.
X._ n'a pas comparu à l'audience de reprise de cause. Par jugement du 19 octobre 2010, le Tribunal correctionnel a rejeté la requête tendant à la dispense de X._ et à l'autorisation pour son avocat de le représenter aux débats. Il a aussi rejeté la demande de relief et confirmé le jugement du 7 novembre 2008.
B. Le 5 novembre 2010, X._ a présenté une seconde demande de relief. Par prononcé du 2 décembre 2010, le Président du Tribunal correctionnel l'a rejetée.
C. Par arrêt du 2 février 2011, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._ et confirmé le prononcé du 2 décembre 2010.
D. X._ forme un recours en matière pénale contre cet arrêt. Il conclut principalement à sa réforme en ce sens qu'une audience soit fixée pour statuer sur le relief, subsidiairement à son annulation.
La cour cantonale s'est référée à son arrêt. Le Ministère public a conclu au rejet du recours.

Considérant en droit:
1. Le recourant se plaint d'une violation de l'art. 6 CEDH. Il relève que, selon les deux certificats médicaux produits, son état de santé ne lui permettait pas d'assister à l'audience de reprise de cause et qu'il aurait dû être autorisé à se faire représenter par son avocat.
1.1 Selon la jurisprudence de la Cour européenne des droits de l'homme, l'art. 6 CEDH garantit à l'accusé le droit d'être jugé en sa présence. Il s'ensuit qu'une procédure par défaut n'est compatible avec cette disposition que si le condamné a la possibilité de demander qu'une juridiction statue à nouveau, après l'avoir entendu, sur le bien-fondé de l'accusation, en fait comme en droit (arrêt de la CourEDH Sejdovic contre Italie du 1er mars 2006, Recueil CourEDH 2006-II p. 201 § 81 s. et les arrêts cités).
Ce principe supporte cependant quelques atténuations. D'abord, la Cour européenne reconnaît que, devant les juridictions supérieures, la comparution de l'accusé ne revêt pas nécessairement la même importance qu'en première instance (cf. arrêt de la CourEDH Kamasinski c. Autriche du 19 décembre 1989, série A vol. 168 § 1060). Ensuite, elle admet que la CEDH n'empêche pas une personne de renoncer de son plein gré aux garanties d'un procès équitable de manière expresse ou tacite, en particulier à son droit d'être jugé en contradictoire. Elle exige seulement que la renonciation au droit de participer à l'audience se trouve établie de manière non équivoque et qu'elle ait été entourée du minimum de garanties correspondant à sa gravité (arrêt Sejdovic, § 86 et les arrêts cités). Enfin, sous réserve que les sanctions procédurales prévues ne soient pas disproportionnées et que l'accusé ne soit pas privé du droit d'être représenté par un avocat, la Cour européenne juge que le législateur national doit pouvoir décourager les absences injustifiées aux audiences (arrêt Sejdovic, § 92 et les arrêts cités, en particulier arrêt de la CourEDH Poitrimol contre France du 23 novembre 1993, série A vol. 277 A § 35). Dès lors, la Cour européenne des droits de l'homme admet qu'une personne condamnée par défaut se voie refuser la possibilité d'être jugée en contradictoire si les trois conditions cumulatives suivantes sont remplies: premièrement, il est établi que cette personne avait reçu sa citation à comparaître; deuxièmement, elle n'a pas été privée de son droit à l'assistance d'un avocat dans la procédure par défaut; et, troisièmement, il est démontré qu'elle avait renoncé de manière non équivoque à comparaître ou qu'elle avait cherché à se soustraire à la justice (cf. arrêts de la CourEDH Medenica contre Suisse du 14 juin 2001, Recueil CourEDH 2001-VI § 55 ss et Sejdovic, § 105 ss, a contrario). A propos de cette dernière condition, la Cour européenne a précisé qu'il ne devait pas incomber à l'accusé de prouver qu'il n'entendait pas se dérober à la justice ou que son absence s'expliquait par un cas de force majeure, mais qu'il était loisible aux autorités nationales d'évaluer si les excuses fournies par l'accusé pour justifier son absence étaient valables ou si les éléments versés au dossier permettaient de conclure que l'absence de l'accusé aux débats était indépendante de sa volonté (arrêt Sejdovic, § 88 et les arrêts cités; cf. aussi arrêt 6B_860/2008 du 10 juillet 2009 consid. 4.1).
1.2 En l'espèce, s'agissant de la première condition précitée, il n'est pas contesté que le recourant a été informé de la procédure pénale dirigée contre lui et qu'il a valablement été cité à comparaître.
1.3 Pour ce qui concerne la deuxième condition, le recourant a été assisté d'un avocat d'office dans la première phase des débats ayant conduit au jugement par défaut du 7 novembre 2008. Son avocat a été dispensé de la suite des débats après qu'une suspension de ceux-ci pour permettre la mise en ?uvre d'une expertise financière lui eut été refusée (cf. jugement du 7 novembre 2008 p. 7). On peut se demander si l'assistance d'un avocat a suffisamment été garantie au recourant dans la procédure par défaut. On peut en particulier en douter au regard de la teneur de l'art. 398 al. 1 de l'ancien code de procédure pénale vaudois du 12 septembre 1967 (CPP/VD; RS/VD 312.0), qui exclut les plaidoiries dans une procédure par défaut. Cette disposition n'apparaît pas compatible avec l'art. 6 CEDH qui garantit l'assistance d'un avocat aussi pour une procédure par défaut. La question peut rester ouverte en l'occurrence dès lors que le recours doit de toute façon être admis car la troisième condition nécessaire pour refuser à un défaillant la possibilité d'être jugé en contradictoire n'est pas réalisée (cf. infra, consid. 1.4).
1.3 Pour ce qui concerne la deuxième condition, le recourant a été assisté d'un avocat d'office dans la première phase des débats ayant conduit au jugement par défaut du 7 novembre 2008. Son avocat a été dispensé de la suite des débats après qu'une suspension de ceux-ci pour permettre la mise en ?uvre d'une expertise financière lui eut été refusée (cf. jugement du 7 novembre 2008 p. 7). On peut se demander si l'assistance d'un avocat a suffisamment été garantie au recourant dans la procédure par défaut. On peut en particulier en douter au regard de la teneur de l'art. 398 al. 1 de l'ancien code de procédure pénale vaudois du 12 septembre 1967 (CPP/VD; RS/VD 312.0), qui exclut les plaidoiries dans une procédure par défaut. Cette disposition n'apparaît pas compatible avec l'art. 6 CEDH qui garantit l'assistance d'un avocat aussi pour une procédure par défaut. La question peut rester ouverte en l'occurrence dès lors que le recours doit de toute façon être admis car la troisième condition nécessaire pour refuser à un défaillant la possibilité d'être jugé en contradictoire n'est pas réalisée (cf. infra, consid. 1.4).
1.4 1.4.1 Cette troisième condition se rapporte à l'existence d'une excuse valable pour justifier du défaut à l'audience de reprise de cause. A l'appui de sa requête de second relief, le recourant s'est prévalu de deux certificats médicaux des 15 octobre et 4 novembre 2010. La cour cantonale a analysé le contenu de ces pièces et est parvenue à la conclusion qu'elles n'établissaient pas que le déplacement en Suisse du recourant était exagérément risqué pour la santé de celui-ci. Elle a ainsi exclu que le recourant se soit trouvé dans un cas de force majeure l'empêchant de se rendre à son procès (cf. arrêt cantonal p. 8).
1.4.2 Au regard de la jurisprudence précitée (supra, consid. 1.1 in fine), l'appréciation de la cour cantonale se limitant à examiner, en application de l'art. 407 al. 1 CPP/VD, si un cas de force majeure était ou non prouvé apparaît trop restrictive. Il s'agissait bien plutôt de déterminer s'il existait une excuse valable.
Cela étant, en considérant que les certificats médicaux ne permettaient pas de retenir que le recourant aurait couru un risque pour sa santé en se déplaçant en Suisse pour participer à l'audience de reprise de cause, la cour cantonale a posé une constatation de fait fondée sur une appréciation des preuves à disposition.
1.4.3 Le Tribunal fédéral doit conduire son raisonnement juridique sur la base des faits constatés dans la décision attaquée (art. 105 al. 1 LTF). Il peut compléter ou rectifier même d'office les constatations de fait qui se révèlent manifestement inexactes, c'est-à-dire arbitraires selon l'art. 9 Cst. (<ref-ruling> consid. 1.1.2 p. 252; <ref-ruling> consid. 4.1.2), ou établies en violation du droit (art. 105 al. 2 LTF). La partie recourante est autorisée à attaquer des constatations de fait ainsi irrégulières si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Lorsque de tels griefs sont soulevés, l'art. 106 al. 2 LTF prévoit pour la motivation du recours des exigences qualifiées. La partie recourante doit ainsi indiquer, dans l'acte de recours lui-même, quel droit constitutionnel aurait été violé et montrer, par une argumentation circonstanciée, en quoi consiste sa violation (<ref-ruling> consid. 1.4.2 p. 254; <ref-ruling> consid. 1.3.1).
1.4.4 Dans son mémoire, le recourant reprend le contenu des certificats médicaux et conteste l'interprétation qu'en a donnée la cour cantonale. Autrement dit, il s'en prend à l'appréciation des preuves, que le Tribunal fédéral ne revoit que sous l'angle restreint de l'arbitraire.
Analysant les certificats médicaux produits, la cour cantonale a exposé que le médecin du recourant lui aurait simplement recommandé de ne pas voyager mais ne l'aurait pas "enjoint de s'abstenir"; elle a conclu que les certificats n'établissaient pas qu'il était "exagérément risqué" pour le recourant de faire le déplacement (cf. arrêt cantonal p. 7-8). Or, selon le certificat du 15 octobre 2010, le recourant souffre de problèmes psychiatriques et il est très peu souhaitable qu'il se rende en Suisse car le motif du séjour est très stressant et anxiogène. Le médecin relève que le recourant n'est pas capable de voyager en Suisse et qu'il lui a conseillé de ne pas le faire. Le certificat du 4 novembre 2010 mentionne qu'un voyage en Suisse impliquerait un grand risque que l'état du recourant se détériore. Au vu du contenu des certificats médicaux, l'appréciation de la cour cantonale apparaît insoutenable. Il ressort clairement de ces pièces que le recourant n'est pas capable de voyager et qu'un grand risque de détérioration de son état de santé existe. L'interprétation minimaliste et dépourvue de justification de la cour cantonale apparaît arbitraire. Sur la base des certificats médicaux, il faut admettre que le recourant disposait d'une excuse valable pour justifier son absence à l'audience de reprise de cause. On ne saurait non plus lui imputer un quelconque abus de droit puisqu'il a requis de pouvoir être représenté par son avocat (art. 397 CPP/VD), ce qui lui a été refusé. Il s'ensuit que la solution de cour cantonale viole l'art. 6 CEDH. Le recours doit être admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour reprise de la procédure.
2. Vu l'issue de la procédure, il ne sera pas perçu de frais (art. 66 al. 4 LTF) et le canton de Vaud versera au recourant une indemnité de dépens pour la procédure devant le Tribunal fédéral (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale afin qu'elle rende une nouvelle décision au sens des considérants.
2. Il n'est pas perçu de frais.
3. Le canton de Vaud versera une indemnité de dépens de 3'000 fr. au recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 19 juillet 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Rey-Mermet