Faits: A. Par jugement du 7 novembre 2008, le Tribunal correctionnel de l'arrondissement de La Côte a condamné par défaut X._ à une peine privative de liberté de 6 ans pour abus de confiance, escroquerie, gestion déloyale, gestion fautive, blanchiment d'argent et infraction à la loi fédérale sur l'acquisition d'immeubles par des personnes à l'étranger. X._ a formé une première demande de relief qui a été rejetée par prononcé du 8 décembre 2008 rendu par le Président du Tribunal correctionnel. Par arrêt du 9 novembre 2009, la Cour de cassation pénale du Tribunal cantonal vaudois a admis le recours interjeté par X._ contre ce prononcé et a renvoyé la cause en première instance pour statuer sur la demande de relief. X._ n'a pas comparu à l'audience de reprise de cause. Par jugement du 19 octobre 2010, le Tribunal correctionnel a rejeté la requête tendant à la dispense de X._ et à l'autorisation pour son avocat de le représenter aux débats. Il a aussi rejeté la demande de relief et confirmé le jugement du 7 novembre 2008. B. Le 5 novembre 2010, X._ a présenté une seconde demande de relief. Par prononcé du 2 décembre 2010, le Président du Tribunal correctionnel l'a rejetée. C. Par arrêt du 2 février 2011, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._ et confirmé le prononcé du 2 décembre 2010. D. X._ forme un recours en matière pénale contre cet arrêt. Il conclut principalement à sa réforme en ce sens qu'une audience soit fixée pour statuer sur le relief, subsidiairement à son annulation. La cour cantonale s'est référée à son arrêt. Le Ministère public a conclu au rejet du recours.