Faits: Faits: A. Statuant le 15 octobre 2001 à la requête des époux D.Y._, originaire d'Arlesheim, et E.Y._, née Z._, de nationalité haïtienne, la Cour de justice du canton de Genève, faisant abstraction du consentement du père biologique, a prononcé l'adoption par ceux-ci des mineures B._ et C.X._, ressortissantes des Etats-Unis d'Amérique, nées respectivement les 12 mai 1983 et 11 novembre 1985, filles des citoyens haïtiens A._ et F.X._, née Z._, soeur de E.Y._ et décédée le 17 avril 1990. A l'occasion de leur adoption, les enfants ont reçu les nouveaux prénoms de B._ et de C._. Durant la procédure d'adoption, les époux Y._ ont expliqué avoir assumé la garde des filles depuis 1992, après le décès de leur mère. Quant au père biologique, il a été vu pour la dernière fois lors des obsèques de sa femme à Miami en 1990 et a disparu depuis lors sans se manifester, ni laisser de trace. A.X._ a ainsi été cité à comparaître par voie édictale, selon publication parue dans la Feuille d'avis officielle du 12 septembre 2001. Durant la procédure d'adoption, les époux Y._ ont expliqué avoir assumé la garde des filles depuis 1992, après le décès de leur mère. Quant au père biologique, il a été vu pour la dernière fois lors des obsèques de sa femme à Miami en 1990 et a disparu depuis lors sans se manifester, ni laisser de trace. A.X._ a ainsi été cité à comparaître par voie édictale, selon publication parue dans la Feuille d'avis officielle du 12 septembre 2001. B. Le 10 octobre 2002, A.X._, domicilié à Port-au-Prince, a indiqué à la Cour de justice avoir récemment appris par sa belle-soeur I.Z._, habitant à Miami, que les époux Y._ avaient adopté ses deux filles. Il s'est plaint de ne jamais avoir été consulté au sujet de ces changements de filiation et a requis l'annulation des adoptions. Lors de la procédure, il a expliqué s'être occupé, après le décès de son épouse et jusqu'en 1992, de ses filles qui habitaient alors chez I.Z._, à Miami. Dès 1992, lorsque ses enfants ont été accueillies à Genève, il a écrit plusieurs fois à D.Y._, sans recevoir de réponse, puis téléphoné et écrit à ses filles. Les communications se seraient interrompues au printemps 1995, au moment où la famille adoptive a changé de domicile à Genève, sans lui communiquer sa nouvelle adresse. A.X._, toujours veuf, a d'autres enfants, dont certains vivent encore avec lui à Haïti. Il exerce une activité d'artiste peintre et pratique le commerce de biens usagers à Port-au-Prince. Il n'a pas participé à l'entretien des enfants depuis leur arrivée en Suisse. B.a Les époux Y._ ont acquiescé à la demande d'annulation des adoptions. Lors de son audition, le mari a indiqué avoir souscrit à la volonté de sa femme d'adopter les enfants et s'être fié à ses affirmations mensongères selon lesquelles elle ignorait ce qu'il était advenu du père biologique. E.Y._ n'a pas contredit son époux et a reconnu avoir menti durant la procédure d'adoption en affirmant ignorer l'adresse de A.X._ à Haïti, alors qu'elle la connaissait. B.b B.Y._, de même que C._, par l'intermédiaire de son curateur, se sont opposées à l'annulation de leur adoption. B.b B.Y._, de même que C._, par l'intermédiaire de son curateur, se sont opposées à l'annulation de leur adoption. C. Par décision du 14 novembre 2003, la Cour de justice du canton de Genève a rejeté la requête de A.X._. Elle a estimé que la cause d'annulation prévue par l'art. 269 al. 1 CC était réalisée et qu'on ne pouvait faire abstraction du consentement du père biologique en application de l'art. 265c CC. Elle a toutefois jugé que l'intérêt des enfants imposait de rejeter la demande du père biologique, puisque celles-ci, par l'annulation de l'adoption, perdraient leur nationalité suisse et leurs rentes complémentaires versées en raison de l'invalidité de D.Y._. C. Par décision du 14 novembre 2003, la Cour de justice du canton de Genève a rejeté la requête de A.X._. Elle a estimé que la cause d'annulation prévue par l'art. 269 al. 1 CC était réalisée et qu'on ne pouvait faire abstraction du consentement du père biologique en application de l'art. 265c CC. Elle a toutefois jugé que l'intérêt des enfants imposait de rejeter la demande du père biologique, puisque celles-ci, par l'annulation de l'adoption, perdraient leur nationalité suisse et leurs rentes complémentaires versées en raison de l'invalidité de D.Y._. D. Invoquant une violation de l'art. 269 CC, A.X._ interjette un recours en réforme auprès du Tribunal fédéral. Il conclut à la réforme de la décision du 14 novembre 2003 en ce sens que les adoptions de B.Y._, née B.X._ le 12 mai 1983, et de C.Y._, née C.X._ le 11 novembre 1985, sont annulées. Il requiert également l'assistance judiciaire. Dans un courrier du 19 avril 2004, E.Y._ reconnaît ses fautes dans les procédures d'adoption dont elle souhaite l'annulation au vu des difficultés qu'elles ont engendrées. Dans sa réponse du 26 avril 2004, D.Y._, assisté d'un mandataire, affirme n'avoir aucune raison sérieuse pour contester le droit de A.X._ à ne pas être dépossédé de son statut de père et s'en remet à justice concernant le sort du recours en réforme. C.Y._, par l'intermédiaire de son curateur, conclut au rejet du recours dans la mesure où il est recevable. Elle estime en bref que l'annulation de l'adoption aurait des conséquences économiques et juridiques fâcheuses. Sa soeur n'a pas déposé de réponse.