Faits :
A.
Par jugement du 11 décembre 2015, le Tribunal de police genevois a acquitté X._ des chefs de lésions corporelles simples (<ref-law>) et de violation d'une obligation d'entretien (<ref-law>), mais l'a reconnu coupable d'enlèvement de mineur (<ref-law>) et l'a condamné à une peine pécuniaire de 90 jours-amende à 30 fr. l'unité, avec sursis durant trois ans, ainsi qu'aux frais de la procédure.
B.
Statuant le 31 mai 2016, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a rejeté l'appel de X._ et admis l'appel joint formé par A._. Elle a modifié le jugement de première instance en ce sens qu'elle a déclaré X._ coupable de lésions corporelles simples de peu de gravité (<ref-law>) et de violation d'une obligation d'entretien (<ref-law>). Elle l'a condamné à une peine pécuniaire de 120 jours-amende à 10 fr. l'unité ainsi qu'aux frais de procédure. Pour le surplus, elle a confirmé le jugement entrepris.
En substance, les faits retenus par la cour cantonale sont les suivants.
A._ a épousé X._ en Suisse en 2009. Deux enfants, nés en 2010 et 2012, sont issus de cette union.
Partis en vacances en famille en Tunisie, X._ a retenu les enfants dans ce pays du 21 janvier au 13 septembre 2014, les empêchant ainsi de rejoindre leur lieu de résidence habituelle à Genève et les privant de contact avec leur mère. Il s'est emparé des passeports et des permis d'établissement des enfants, documents qu'il a gardés et refusé de restituer à son épouse. Il a refusé de prêter son concours à l'établissement de nouveaux passeports et a saisi les autorités tunisiennes afin d'empêcher le retour des enfants en Suisse. La mère était, dans un premier temps, cotitulaire de l'autorité parentale et du droit de garde, puis, dès le 23 mai 2014, seule titulaire du droit de garde, conformément à une ordonnance sur mesures superprovisionnelles rendue à cette date par le Tribunal de première instance. A._ a déposé plainte pénale pour ces faits le 7 février 2014.
En outre, le 12 décembre 2013, X._ a exercé des violences physiques à l'encontre de son épouse. Selon certificat médical établi le 3 mars 2014, lors de l'examen clinique du 12 décembre 2013, A._ souffrait d'une contracture paravertébrale lombaire bilatérale, de petites ecchymoses au bras gauche et à la cuisse gauche, ainsi que de douleurs diffuses. Sur le plan psychique, elle était en état de choc émotionnel. Selon deux autres certificats médicaux, A._ avait consulté des thérapeutes, à plusieurs reprises, entre 2011 et 2014, en raison de violences conjugales.
De septembre à novembre 2014, X._ a omis de contribuer à l'entretien de ses enfants mineurs, alors qu'il en avait les moyens ou aurait pu les avoir, au moins partiellement. A._ a déposé plainte pour ce motif le 24 novembre 2014.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt du 31 mai 2016. Principalement, il conclut avec suite de frais et dépens, à son acquittement. Subsidiairement, il conclut à ce que la cause soit renvoyée à l'autorité cantonale pour nouvelle décision. Il sollicite également le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant se plaint d'arbitraire dans l'établissement des faits et dans l'appréciation des preuves ainsi que d'une violation du principe " in dubio pro reo ".
1.1. Le Tribunal fédéral n'est pas une autorité d'appel devant laquelle les faits établis en dernière instance cantonale peuvent être librement rediscutés. Il est lié par les constatations de faits de la décision entreprise (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit, pour l'essentiel, celles de la prohibition de l'arbitraire (cf. sur la notion d'arbitraire: <ref-ruling> consid. 6.3 p. 375). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise (<ref-law>). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368).
1.2. L'essentiel des critiques de fait consiste en des affirmations appellatoires et appréciations personnelles des événements et sont, partant, irrecevables. Seuls les griefs qui n'apparaissent pas d'emblée irrecevables pour ce motif seront traités dans les considérants suivants.
2.
Le recourant s'en prend à sa condamnation du chef d'enlèvement de mineur au sens de l'<ref-law>.
2.1. Selon l'<ref-law>, celui qui aura soustrait ou refusé de remettre un mineur au détenteur du droit de déterminer le lieu de résidence sera, sur plainte, puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire. L'art. 220 aCP (dans sa version en vigueur jusqu'au 30 juin 2014) faisait référence au détenteur du droit de garde. Le bien juridique protégé est le droit de déterminer le lieu de résidence en tant que composante de l'autorité parentale. La compétence de déterminer le lieu de résidence de l'enfant ainsi que son mode d'encadrement relève de l'autorité parentale (<ref-ruling> consid. 5.3.1 p. 210; cf. désormais <ref-law>). Cette disposition protège ainsi - également dans sa nouvelle formulation - la personne qui a le droit de décider du lieu de résidence de l'enfant. Le titulaire de ce droit se détermine selon le droit civil (<ref-ruling> consid. 5.3.1 p. 210 et les références citées; cf. désormais art. 296 al. 2 et <ref-law>). Un enlèvement peut être commis par l'un des deux parents, s'il n'exerce pas ou pas seul l'autorité parentale, respectivement, la garde (arrêt 6B_123/2014 du 2 décembre 2014 consid. 3.3, non publié in <ref-ruling>; <ref-ruling> consid. 1c/aa p. 223 s.; arrêt 6B_711/2008 du 2 avril 2009 consid. 3.1 et les références citées). Le refus de remettre des enfants à leur mère en Suisse, après des vacances à l'étranger, constitue un cas d'enlèvement de mineur (<ref-ruling> consid. 2).
Sur le plan subjectif, l'infraction est intentionnelle, le dol éventuel suffit. L'intention doit porter sur la connaissance de la qualité de mineur de la personne enlevée et sur le fait d'empêcher l'exercice de l'autorité parentale.
2.2. Selon l'état de fait établi par les juges cantonaux, le retour de la famille en Suisse était prévu après les vacances en Tunisie le 21 janvier 2014. Cela résultait tant des déclarations de l'intimée que de celles du recourant (cf. arrêt entrepris consid. B.d.a p. 6). En outre, la cour cantonale a considéré que les déclarations de l'intimée étaient crédibles et constantes quant au fait que le recourant s'était emparé des documents d'identité des enfants et avait refusé de les restituer. Ce dernier avait commencé par admettre s'être emparé des papiers d'identité avant de changer de version en cours de procédure et allant jusqu'à désavouer son propre avocat qui avait indiqué, dans une requête déposée devant le juge tunisien, qu'il détenait ces documents.
Constatant que l'intimée était détentrice de l'autorité parentale durant toute la période où ses enfants ont résidé, contre sa volonté, en Tunisie, et, dès le 23 mai 2014, seule titulaire du droit de garde, la cour cantonale a retenu que le recourant n'était pas autorisé à déterminer unilatéralement le lieu de résidence des enfants.
2.3. Le recourant se contente d'affirmer, de manière purement appellatoire, qu'il est vraisemblable que les documents d'identité soient restés en mains de l'intimée et qu'il n'a pas été suffisamment établi que le couple et les enfants avaient prévu de rentrer en janvier 2014. Ce procédé est irrecevable. Par ailleurs, affirmer péremptoirement que son épouse souhaitait obtenir un renouvellement de son permis de séjour ne lui est d'aucun secours.
Il importe peu que les enfants n'aient pas été constamment sous la sphère d'influence du recourant pendant la période incriminée, dès lors qu'il est établi qu'il a activement empêché leur retour en Suisse.
Le recourant se contente d'alléguer qu'il n'a pas agi avec la conscience et la volonté de soustraire ses enfants à quelque autorité que ce soit et indique qu'il souhaitait seulement geler provisoirement la situation et se soumettre à la protection du juge tunisien. Ce faisant, le recourant confirme son intention d'empêcher l'exercice de l'autorité parentale par la mère des enfants, respectivement de déterminer leur lieu de résidence, en l'occurrence, en Suisse.
Le recourant se méprend lorsqu'il prétend qu'il pouvait déterminer seul le lieu de résidence de ses enfants lorsque l'autorité parentale et la garde appartenaient aux deux parents (cf. supra consid. 2.1).
Ses griefs doivent être rejetés dans la mesure où ils sont recevables.
3.
Le recourant conteste s'être rendu coupable de lésions corporelles simples à l'encontre de son épouse.
3.1. Selon l'<ref-law>, celui qui, intentionnellement, aura fait subir à une personne une autre atteinte à l'intégrité corporelle ou à la santé sera, sur plainte, puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire. Dans les cas de peu de gravité, le juge pourra atténuer la peine (<ref-law>). La poursuite aura lieu d'office, si l'auteur est le conjoint de la victime et que l'atteinte a été commise durant le mariage ou dans l'année qui a suivi le divorce (art. 123 ch. 2 al. 1 et 4 CP). Pour justifier la qualification de lésions corporelles, l'atteinte doit revêtir une certaine importance. Afin de déterminer ce qu'il en est, il y a lieu de tenir compte, d'une part, du genre et de l'intensité de l'atteinte et, d'autre part, de son impact sur le psychisme de la victime. Une atteinte de nature et d'intensité bénignes et qui n'engendre qu'un trouble passager et léger du sentiment de bien-être ne suffit pas (<ref-ruling> consid. 1.4 p. 192).
Les voies de fait, réprimées par l'<ref-law>, se définissent comme des atteintes physiques qui excèdent ce qui est socialement toléré et qui ne causent ni lésions corporelles, ni dommage à la santé. Une telle atteinte peut exister même si elle n'a causé aucune douleur physique (<ref-ruling> consid. 1.2 p. 191).
La distinction entre lésions corporelles et voies de fait peut s'avérer délicate, notamment lorsque l'atteinte s'est limitée à des meurtrissures, des écorchures, des griffures ou des contusions. Dans les cas limites, il faut tenir compte de l'importance de la douleur provoquée. Les contusions, meurtrissures, écorchures ou griffures constituent des lésions corporelles simples si le trouble qu'elles apportent, même passager, équivaut à un état maladif (sur cette distinction, cf. <ref-ruling> consid 2a p. 26 s.).
3.2. La cour cantonale a acquis la conviction que le recourant était à l'origine de la contracture paravertébrale et des petites ecchymoses constatées lors de l'examen clinique du 12 décembre 2013. Certes, l'intimée avait indiqué, lors de la consultation, qu'une étagère lui était tombée dessus. Or le dévoilement tardif de la véritable cause de ces lésions s'expliquait aisément dans un contexte de violences conjugales. En outre, l'état de choc émotionnel relevé dans le constat médical concordait mal avec l'hypothèse d'un simple accident ménager. Les coups portés ont engendré plus qu'un simple trouble passager chez l'intimée, qui a notamment dû se rendre immédiatement dans une permanence médicale en raison des douleurs ressenties, admises par le recourant, et attestées par certificat médical.
3.3. Le recourant affirme, de manière purement appellatoire, partant irrecevable, qu'il aurait fallu tenir compte du contexte et du caractère manifestement manipulateur de l'intimée et que son récit était fortement entaché d'incohérences et de contradictions. Cela étant, il ne discute pas l'appréciation faite par les juges cantonaux du contexte et des déclarations des parties.
Il souligne ensuite que la solution diverge de celle retenue en première instance, sans tenter de démontrer l'arbitraire de l'appréciation cantonale. Cela étant, il omet que l'appréciation du tribunal de première instance ne lie pas l'autorité d'appel, laquelle dispose d'un plein pouvoir d'examen en fait et en droit (<ref-law>) sur les points attaqués (<ref-law>).
Le recourant prétend enfin que rien ne prouve que les lésions aient entrainé plus qu'un simple trouble passager et qu'au surplus elles étaient superficielles et de dimensions extrêmement réduites. Ce procédé, qui consiste à opposer sa propre appréciation des preuves à celle de la cour cantonale sans établir son caractère insoutenable, est irrecevable. Il est rappelé, au demeurant, que, selon ses propres déclarations, il avait personnellement amené son épouse aux urgences pour des douleurs abdominales le 12 décembre 2013, car elle s'était blessée (arrêt entrepris, consid. b.c p. 6). Il est donc mal venu de tenter d'atténuer les douleurs décrites à ce stade de la procédure.
Compte tenu des faits retenus par la cour cantonale, dont l'arbitraire n'a pas été démontré, force est de constater que la condamnation du recourant du chef de lésions corporelles simples de peu de gravité ne prête pas flanc à la critique.
4.
En dernier lieu, le recourant conteste sa condamnation pour violation d'une obligation d'entretien. Il déclare qu'il n'était pas en mesure de contribuer à l'entretien de ses enfants, et qu'en tout état, il l'avait fait à hauteur de ses capacités.
4.1. A teneur de l'<ref-law>, celui qui n'aura pas fourni les aliments ou les subsides qu'il doit en vertu du droit de la famille, quoiqu'il en eût les moyens ou pût les avoir, sera, sur plainte, puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire.
Selon la jurisprudence, il n'est pas nécessaire que le débiteur ait eu les moyens de fournir entièrement sa prestation, il suffit qu'il ait pu fournir plus qu'il ne l'a fait et qu'il ait, dans cette mesure, violé son obligation d'entretien (<ref-ruling> consid. 3b p. 124 s.).
4.2. Sur la base des normes d'insaisissabilité relatives aux enfants et en déduisant les allocations familiales, la cour cantonale a retenu que le recourant devait contribuer à l'entretien de ses enfants à hauteur de 100 fr. par mois pour chacun d'eux. Faute pour le recourant d'avoir expliqué quels auraient été les empêchements objectifs à une activité professionnelle permettant d'assurer un revenu dépassant son propre minimum vital, la cour cantonale a retenu que le recourant n'avait pas fourni tous les efforts que l'on pouvait raisonnablement exiger de lui en vue de fournir les aliments qu'il devait à ses enfants. Même si l'âge du recourant et son absence d'emploi fixe les dernières années étaient certainement de nature à réduire les possibilités effectives de trouver un travail, ils ne les rendaient pas inexistantes pour autant. Le bénéfice de l'assistance sociale n'était pas suffisant pour prouver son impossibilité à exercer une activité lucrative.
4.3. La critique du recourant selon laquelle aucune décision judiciaire ne l'obligeait à verser une quelconque contribution tombe à faux. Si le juge pénal est lié par la contribution d'entretien fixée valablement par le juge civil, il peut cependant, lorsque la contribution n'est arrêtée ni par convention ni par jugement civil exécutoire, la fixer lui-même en appréciant l'ensemble des circonstances (méthode dite directe: <ref-ruling> consid. 2 p. 88 ss; arrêt 6B_667/2010 du 20 janvier 2011 consid. 2).
Le recourant reproche à la cour cantonale d'avoir arbitrairement retenu qu'il disposait des moyens suffisants pour fournir des aliments à ses enfants ou aurait pu en disposer, sans toutefois tenter de le démontrer. Dans la mesure où la période pénale pertinente en l'espèce couvre les mois de septembre à novembre 2014, c'est en vain qu'il entend se prévaloir d'une éventuelle incapacité de travail depuis le 26 août 2015. Pour le reste, il ne fait qu'opposer sa propre appréciation des preuves à celle de la cour cantonale sans démontrer en quoi cette dernière serait arbitraire.
Quand bien même il aurait acheté des cadeaux et des vêtements à ses enfants, ainsi qu'il le prétend, cela ne suffit pas pour se soustraire à ses obligations. Il n'est pas établi que ceux-ci auraient été destinés à couvrir les besoins vitaux de ses enfants, le recourant ne l'expose d'ailleurs pas. En outre, il est rappelé que le débiteur ne peut pas choisir de fournir sa prestation en nature ou en espèces (cf. BERNARD CORBOZ, Les infractions en droit suisse, 3ème éd., 2010, n. 18 ad <ref-law>; cf. <ref-ruling> consid. 1 p. 37).
4.4. Pour le surplus, le recourant ne conteste pas sa peine, laquelle n'apparaît pas excessivement sévère et demeure dans le cadre légal (cf. art. 47 et 49 CP).
5.
Le recours doit être rejeté dans la mesure de sa recevabilité. Comme il était dénué de chance de succès, la requête d'assistance judiciaire doit également être rejetée (<ref-law>). Il appartient par conséquent au recourant de supporter les frais judiciaires (<ref-law>), dont il convient toutefois de fixer le montant en tenant compte de sa situation économique (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 15 août 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke