Faits: A. Par jugement du 17 décembre 2010, le Tribunal de police de l'arrondissement de Lausanne a condamné X._, pour violation d'une obligation d'entretien, à la peine de cent-soixante jours-amende, le montant du jour-amende étant fixé à 40 fr., avec sursis durant quatre ans, le sursis étant subordonné à l'obligation de s'acquitter régulièrement et ponctuellement de l'obligation d'entretien mise à sa charge. B. Par arrêt du 17 janvier 2011, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._ et a confirmé le jugement. Il est reproché à X._ de ne pas s'être acquitté des contributions mensuelles pour l'entretien de son épouse et de ses deux enfants fixées à 750 fr. par mois selon ordonnance de mesures provisoires du 25 mai 2001 du Président du Tribunal d'arrondissement de Lausanne et arrêt du 7 juin 2004 du Tribunal d'arrondissement de Lausanne. De mars 2002 à mars 2008, X._, qui vit à Londres, a cessé toute activité professionnelle pour reprendre des études. Une capacité de gain de 5'166 fr. par mois lui a été imputée sur cette période. Dès avril 2008, il a perçu un salaire mensuel de 2'056 £, ce qui correspond à environ 3'600 francs. C. X._ forme un recours en matière pénale contre l'arrêt cantonal. Il conclut, sous suite de dépens, principalement à sa réforme en ce sens qu'il est acquitté, subsidiairement à son annulation. Il sollicite par ailleurs l'assistance judiciaire. Invités à se déterminer, la cour cantonale et le Ministère public se sont référés à l'arrêt attaqué. L'intimée Y._ a conclu au rejet du recours.