Faits : A. Les filles mineures C.X._, née le 4 juin 2012, et D.X._, née le 20 janvier 2014, toutes deux de nationalité suisse, sont issues du mariage entre B.X._, de nationalité suisse, et A.X._, de nationalité britannique. Chaque parent a des enfants nés de relations précédentes : B.X._ est la mère d'un garçon, né et décédé en 2007, et d'une fille, née en 2008, qui vit avec elle, alors que A.X._ a eu un garçon et une fille, nés respectivement en 2002 et 2003, avec lesquels il n'entretient vraisemblablement pas de relations. Le père souffre d'épilepsie. A.a. Les époux A.X._ et B.X._ ont divorcé en Angleterre le 15 avril 2016. L'autorité parentale sur leurs deux filles est conjointe. La garde effective des enfants était exercée par la mère, sous réserve d'un droit de visite du père, d'une durée de trois heures hebdomadaires, dans un centre de protection des enfants. Depuis octobre 2013, les filles n'ont eu que des relations épisodiques avec leur père, et depuis fin 2015, plus de contacts. La situation de la famille était connue des Services sociaux anglais depuis plusieurs années. Le père avait l'interdiction de se rendre au domicile de la mère depuis octobre 2013, à la suite de violences conjugales répétées en présence des enfants. A.b. Il ressort d'un rapport d'évaluation établi par un service social anglais, à la requête d'un tribunal anglais saisi le 6 avril 2016 par le père d'une demande de transfert de la garde des enfants, que le père n'était pas capable de s'occuper seul de ses filles, notamment en raison de sa maladie (épilepsie), mais qu'un droit de visite de quatre heures hebdomadaires en un lieu sécurisé et accompagné devait lui être réservé, ce temps étant porté à huit heures hebdomadaires, selon les mêmes modalités, en période de vacances. A.c. Le 25 mars 2016, la mère a quitté la Grande-Bretagne et est arrivée en Suisse avec sa fille aînée et les deux filles communes des parties. Elles résident actuellement à U._. A.d. Le 20 avril 2016, puis le 4 mai 2016, la Family division de la High Court of justice anglaise a ordonné à la mère de ramener les enfants dans la juridiction du Royaume-Uni, sous la menace des peines de droit. B. Par demande reçue au greffe de la Cour de justice de la République et canton de Genève le 5 septembre 2016, le père a requis le retour immédiat des enfants C.X._ et D.X._, au sens de la Convention de la Haye sur les aspects civils de l'enlèvement international d'enfants du 25 octobre 1980. A la demande de la Chambre civile de la Cour de justice, le Service de protection des mineurs (ci-après : SPMin) a établi le 13 octobre 2016 un rapport sur les conditions de vie des enfants à U._. Par prononcé du 18 octobre 2016, la Chambre civile de la Cour de justice a ordonné la représentation des enfants et leur a désigné un curateur. La Chambre civile de la Cour de justice a tenu audience le 14 novembre 2016 et a procédé à l'audition des parties et du curateur des enfants. A cette occasion, le conseil du père a remis à la Cour de justice un courrier exposant que l'ordonnance du 4 mai 2016 de la Family division de la High Court of justice valait attestation conforme à l'art. 15 CLaH80. Statuant par arrêt du 22 novembre 2016, communiqué aux parties le même jour, la Chambre civile de la Cour de justice a rejeté la demande de retour des enfants mineures C.X._ et D.X._, formée le 5 septembre 2016 par le père. C. Par acte du 5 décembre 2016, A.X._ exerce un recours en matière civile au Tribunal fédéral. Il conclut notamment à l'annulation de l'arrêt cantonal, à la désignation d'un curateur aux filles pour préparer leur retour au Royaume-Uni, à la constatation du caractère illicite du déplacement en Suisse, à la remise des documents d'identité des enfants en mains du curateur, à ce que le retour des enfants mineures C.X._ et D.X._ soit ordonné, à ce que les filles soient placées en foyer d'accueil dans l'attente de leur retour et à ce que l'autorité parentale de la mère sur ses filles soit limitée. Au préalable, le père sollicite d'être mis au bénéfice de l'assistance judiciaire pour la procédure fédérale, comprenant la dispense de l'avance de frais et la désignation de son conseil à titre d'avocate d'office. Invitée à se déterminer, la mère a conclu au rejet du recours, partant au rejet de la demande en retour des filles et au constat de la licéité du déplacement en Suisse. Au préalable, elle sollicite l'octroi de l'assistance judiciaire et à la reconnaissance qu'elle a instauré des contacts téléphoniques SKYPE entre le père et les deux filles, afin de respecter le droit de visite de la partie adverse. A l'appui de son mémoire de réponse, l'intimée produit un lot de pièces composé de conversations et photos échangées entre le père, les filles et elle. Le curateur des filles, pour celles-ci, a également conclu au rejet du recours. L'autorité cantonale s'est référée à son arrêt.