Faits: A. Par jugement du 7 décembre 2010, le Tribunal de police du district de La Chaux-de-Fonds a condamné X._, en application des art. 123 ch. 1 et 2, 217 al. 1 et 219 al. 1 CP, à une peine privative de liberté de 7 mois, révoquant en outre un sursis antérieur. Il a par ailleurs écarté les prétentions civiles de B._, les considérant comme devenues sans objet en tant qu'elle les formulait pour elle-même et les rejetant en tant qu'elle les présentait pour son fils mineur D._. B. Saisie d'un pourvoi du condamné, la Cour de cassation pénale du Tribunal cantonal neuchâtelois l'a rejeté dans la mesure de sa recevabilité par arrêt du 30 mars 2011. Elle a notamment écarté le grief que le recourant faisait au premier juge d'avoir admis arbitrairement qu'il était l'auteur des lésions corporelles commises sur son fils D._, né le 13 juin 2009, et, au demeurant, d'avoir retenu qu'il avait agi par dol éventuel, et non par négligence. Elle a également écarté son grief de violation de l'art. 219 CP, considérant que, compte tenu des circonstances concrètes (âge de la victime au moment des faits, nature des lésions subies par cette dernière, répétition et gravité des agissements de l'auteur), la condition d'une mise en danger du développement de l'enfant D._ était réalisée. Enfin, elle a rejeté son grief de violation de l'art. 217 CP, par lequel il contestait sa condamnation du fait de n'avoir pas versé les contributions d'entretien dues pour sa fille E._, née en décembre 2005 et issue de sa relation avec C._, estimant qu'il n'avait pas entrepris les efforts que l'on pouvait raisonnablement attendre de lui pour s'en acquitter. C. X._ forme un recours en matière pénale, pour établissement manifestement inexact des faits et violation des art. 123, 219 et 217 CP ainsi que des art. 47 et 34 CP. Il conclut à l'annulation de l'arrêt attaqué et à son acquittement, subsidiairement au renvoi de la cause à l'autorité de première instance pour nouveau jugement. Il sollicite l'assistance judiciaire et l'effet suspensif. Des déterminations n'ont pas été requises.