Faits: A. Après avoir bénéficié d'autorisations de séjour saisonnières, puis d'une autorisation de séjour de courte durée pour ressortissants de l'Union européenne (CE/AELE, permis L), X._, ressortissant portugais né en 1971, a obtenu, le 5 mai 2003, une autorisation de séjour (CE/AELE, permis B). En incapacité de travail depuis le mois de juin 2003, X._ est au bénéfice des prestations du revenu d'insertion. Entre le 1er septembre 2003 et le 31 mars 2010, il a ainsi reçu un montant total de CHF 45'758.10. Il a formé une demande de rente auprès de l'Assurance-invalidité. Le 11 décembre 2007, il a demandé l'octroi d'un permis d'établissement, ce que le Service de la population lui a refusé le 3 novembre 2008. Le 21 novembre 2008, X._ a épousé Y._, ressortissante portugaise née en 1970. En 2009 est née leur fille, A._. Les époux ont fait l'objet de deux jugements de mesures protectrices de l'union conjugale du 14 avril 2010 et du 3 mai 2011. Selon ce dernier prononcé, ils ont été autorisés à vivre séparés pendant une année, la garde de l'enfant A._ étant attribuée à la mère. Un droit de visite chaque mercredi après-midi, ainsi qu'un jour en fin de semaine, a été octroyé au père. Celui-ci s'est en outre engagé à s'abstenir de toute violence, physique et verbale, ainsi que de toute forme de menace à l'encontre de son épouse. X._ est par ailleurs le père de B._, née en 2008. Par jugement du 13 août 2010, le Tribunal correctionnel de Lausanne a reconnu X._ coupable de lésions corporelles simples, menaces qualifiées, séquestration et enlèvement, commis à l'égard de son épouse Y._. Le jugement retenait en outre qu'il avait exercé, dès 2002, des violences physiques et verbales à l'égard de sa compagne d'alors, mère de sa fille B._. X._ a été condamné à quatorze mois de réclusion. Ce jugement a été confirmé en procédure de cassation par arrêt du 11 octobre 2010. B. Le 29 novembre 2010, le Service de la population a informé X._ qu'il envisageait de lui refuser la prolongation de son autorisation de séjour et d'ordonner son renvoi de Suisse. Le 12 janvier 2011, le Service de la population a refusé de renouveler l'autorisation de séjour de X._ et a ordonné son renvoi de Suisse dans un délai de trois mois. X._ a recouru contre cette décision auprès du Tribunal cantonal du canton de Vaud et demandé le renouvellement de son autorisation de séjour. Par arrêt du 16 août 2011, le Tribunal cantonal a rejeté le recours et confirmé la décision du Service de la population du 12 janvier 2011. C. Par recours en matière de droit public, X._ demande au Tribunal fédéral, avec suite de frais et dépens, de réformer l'arrêt du Tribunal cantonal du canton de Vaud du 16 août 2011, d'annuler la décision rendue le 12 janvier 2011 par le Service de la population et de renouveler son autorisation de séjour, subsidiairement de renvoyer le dossier à l'autorité cantonale pour nouvelle décision. II requiert en outre l'octroi de l'effet suspensif à son recours. Il sollicite enfin le bénéfice de l'assistance judiciaire. Le Service de la population ne s'est pas déterminé sur le recours. Le Tribunal cantonal s'est référé aux considérants de son arrêt et a renoncé à déposer une détermination. L'Office fédéral des migrations propose le rejet du recours. Par ordonnance présidentielle du 21 septembre 2011, l'effet suspensif a été accordé au recours. Le 7 décembre 2011, le recourant a fait parvenir spontanément au Tribunal fédéral un nouveau document en complément à son recours.