Faits:
A.
A.a. X._ est domicilié à A._, en France.
Il exerce la profession de médecin dans son cabinet sis à B._ (Suisse). Il n'est pas inscrit au Registre du commerce.
A.b. En juillet 2012, un acte de défaut de biens portant sur la somme de 623'306 fr. 40 a été délivré en Suisse à l'encontre de X._.
B.
B.a. Par requête du 20 mars 2013, X._, agissant par l'intermédiaire de son avocat, a requis sa mise en faillite personnelle, en indiquant qu'il avait un établissement stable à B._, à la Rue C._. Dans la déclaration d'insolvabilité préimprimée, du 18 avril 2013, qui a fait suite à cette requête, il a indiqué, à titre d'adresse privée, son domicile en France, et, à titre d'adresse professionnelle, son cabinet à B._.
Se fondant sur la requête et les pièces précitées, le Tribunal de première instance de Genève a, par jugement du 23 mai 2013, déclaré X._ " domicilié Rue C._ à B._ " en état de faillite le même jour à 14 heures 15.
B.b. Par courrier du 4 juin 2013, l'Office des faillites de Genève a informé X._ qu'il refusait d'exécuter le jugement de faillite du 23 mai 2013 qu'il considérait comme nul au motif que le débiteur n'était pas domicilié en Suisse mais en France et qu'une faillite ne pouvait être prononcée que contre un débiteur domicilié en Suisse.
B.c. Par acte expédié le 13 juin 2013, X._ a formé une plainte contre cette décision, concluant à ce que l'office soit enjoint d'exécuter sans délai le jugement de faillite.
Par décision du 22 août 2013, la Cour de justice du canton de Genève, Chambre de surveillance, a rejeté la plainte et constaté la nullité du jugement prononçant la faillite personnelle de X._ à B._.
C.
Par acte posté le 9 septembre 2013, X._ exerce un recours en matière civile et un recours constitutionnel subsidiaire auprès du Tribunal fédéral contre cette décision. Il conclut à son annulation et à ce que l'office soit enjoint de procéder immédiatement à la liquidation de sa faillite. Il invoque la violation des art. 50 al. 1 LP, 5 al. 3, 9 et 29 al. 1 et 2 Cst.
Par écritures du 17 septembre 2013, le recourant a requis d'être mis au bénéfice de l'assistance judiciaire.
Invités à répondre, l'office a conclu au rejet du recours en matière civile et à l'irrecevabilité du recours constitutionnel subsidiaire, l'autorité de surveillance s'est référée à son arrêt, et le juge de la faillite a indiqué qu'il n'avait pas d'observations à formuler.
Considérant en droit:
1.
Le présent recours a été déposé dans le délai légal (art. 100 al. 2 let. a LTF) à l'encontre d'une décision finale (art. 90 LTF; ATF 133 III 350 consid. 1.2) prise en matière de poursuite pour dettes et faillite (art. 72 al. 2 let. a LTF) par une autorité de surveillance ayant statué en dernière (unique) instance cantonale (art. 75 al. 1 LTF). Le failli, dont les conclusions ont été rejetées par l'autorité précédente, a qualité pour recourir (art. 76 al. 1 LTF).
Le recours étant ouvert indépendamment de la valeur litigieuse (art. 74 al. 2 let. c LTF), le recours constitutionnel subsidiaire est exclu dans ce domaine (arrêt 5A_354/2013 du 29 août 2013 consid. 2.1). Il s'ensuit que la présente écriture doit être traitée dans son ensemble comme un recours en matière civile selon les art. 72 ss LTF; une fausse dénomination du mémoire ne porte pas préjudice à la partie recourante (ATF 138 I 367 consid. 1.1; 137 IV 269 consid. 1.6).
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF) sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 133 III 545 consid. 2.2). Toutefois, il ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant conformément au principe d'allégation (art. 106 al. 2 LTF; ATF 137 II 305 consid. 3.3; 134 I 83 consid. 3.2), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (ATF 135 III 232 consid. 1.2; 133 II 249 consid. 1.4.2).
2.2. Le Tribunal fédéral conduit son raisonnement sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les constatations de fait ont été établies de façon manifestement inexacte - notion qui correspond à l'arbitraire au sens de l'art. 9 Cst. (ATF 135 II 145 consid. 8.1; 135 III 127 consid. 1.5, 397 consid. 1.5) - ou en violation du droit au sens de l'art. 95 LTF (art. 97 al. 1 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recourant qui entend se plaindre d'un établissement manifestement inexact des faits doit satisfaire au principe d'allégation susmentionné (cf. supra consid. 2.1).
3.
3.1. L'autorité de surveillance a retenu que le jugement du 23 mai 2013 prononçait la faillite du recourant en Suisse au for ordinaire, le dispositif mentionnant expressément à titre de domicile son adresse à B._. Il n'était question dans ce jugement, ni d'une limitation à un établissement en Suisse, ni de domicile à l'étranger. Le recourant étant en réalité domicilié en France, l'autorité a considéré que sa faillite personnelle avait donc été prononcée en violation des règles de compétence à raison du lieu. Ces règles étant impératives, le jugement de faillite était nul, au sens de l'art. 22 LP, de sorte que l'office avait à juste titre refusé de l'exécuter.
3.2. Se plaignant de manière confuse à la fois de la violation de son droit d'être entendu (art. 29 al. 2 Cst.) et d'arbitraire (art. 9 Cst.), le recourant affirme qu'il a indiqué au juge de la faillite qu'il était domicilié en France et que l'arrêt attaqué retiendrait le contraire. Il ajoute que cet arrêt est également arbitraire en tant qu'il ne discute pas ses " arguments doctrinaux ". Ensuite, le recourant avance que l'office a agi contrairement aux règles de la bonne foi (art. 5 al. 3 Cst.) en invoquant la nullité d'un jugement de faillite contre lequel il n'a pas recouru. Le recourant se plaint également de formalisme excessif en tant que l'arrêt attaqué lui imposerait de requérir sa faillite en France, alors qu'il est solvable dans ce pays et qu'il travaille en Suisse. Enfin, il invoque la violation de l'art. 50 al. 1 LP, en affirmant qu'il est fondé à requérir sa faillite personnelle au for de son établissement.
4.
4.1. D'emblée, il sied de préciser que, contrairement à ce que le recourant soutient, l'autorité de surveillance a retenu qu'il était domicilié en France et qu'il avait allégué ce fait dans sa requête de faillite. Elle a toutefois constaté, sans que le recourant n'attaque précisément cette motivation (art. 42 al. 2 et 106 al. 2 LTF), que le juge de la faillite avait néanmoins retenu que le recourant était domicilié à B._, ce qui l'avait amené à tort à prononcer la faillite personnelle du recourant à ce qu'il a considéré être le for ordinaire de la poursuite (art. 46 LP). Par conséquent, c'est à raison que l'autorité de surveillance a seulement examiné si l'office était fondé à refuser d'exécuter le jugement de faillite en raison de sa nullité, faute de domicile en Suisse, et non à discuter les arguments du recourant sur la question de savoir si une faillite personnelle peut être prononcée au for spécial de l'établissement qu'il aurait à B._ (art. 50 al. 1 LP).
Ainsi, dans la mesure où ceux-ci sont recevables au vu de l'argumentation confuse et peu étayée du recourant (cf. supra consid. 2.1), les griefs de violation du droit d'être entendu, d'arbitraire et de la violation de l'art. 50 al. 1 LP doivent être rejetés.
4.2. La seule question à trancher est celle de savoir si l'autorité de surveillance pouvait considérer comme nul le jugement prononçant la faillite personnelle du recourant (art. 46 LP), alors que celui-ci est domicilié en France.
4.2.1. Il convient de distinguer la compétence de l'autorité de surveillance pour prononcer la nullité d'une décision d'un office en vertu de l'art. 22 al. 1 LP et celle pour constater la nullité d'une décision judiciaire (arrêt 5A_576/2010 du 18 novembre 2010 consid. 3).
En vertu de l'art. 22 al. 1 LP, l'autorité de surveillance peut, dans le délai de plainte (art. 17 LP) ou même hors délai, déclarer nulle une mesure de l'office si celle-ci est contraire à des dispositions édictées dans l'intérêt public ou dans l'intérêt de personnes qui ne sont pas partie à la procédure. Cette compétence repose sur son pouvoir de surveillance selon l'art. 13 al. 1 LP.
En revanche, cette autorité ne peut pas déclarer nulle, sur la base de l'art. 22 LP, une décision judiciaire, les autorités judiciaires n'appartenant pas au cercle des entités soumises à sa surveillance (arrêts 5A_734/2012 du 31 mai 2013 consid. 3.3; 5A_801/2012 du 18 décembre 2012 consid. 2.4; 5A_576/2010 du 18 novembre 2010 consid. 3.1). Contrairement à ce que pourrait laisser entendre l'arrêt non publié 7B.169/2004 du 15 septembre 2004, les décisions judiciaires sont obligatoires pour les organes de la poursuite, qui doivent les exécuter même si elles ne sont pas conformes à la LP. Dans l'ATF 100 III 19 consid. 2, le Tribunal fédéral avait d'ailleurs déjà considéré comme discutable, en raison de la répartition des compétences entre le juge de la faillite et les autorités de surveillance, la jurisprudence autorisant les organes de la poursuite à refuser d'exécuter une faillite au motif qu'elle ne serait pas conforme à la loi.
Toutefois, comme toute autorité chargée d'appliquer le droit, l'autorité de surveillance peut constater d'office et en tout en temps (ATF 137 III 217 consid. 2.4.3; arrêt 5A_186/2013 du 29 mai 2013 consid. 3) la nullité d'une décision judiciaire (arrêt 5A_576/2010 du 18 novembre 2010 consid. 3.2), de même que l'office peut refuser d'exécuter une décision entachée d'un tel vice (Amonn/Walther, Grundriss des Schuldbetreibungs- und Konkursrechts, 9ème éd., 2013, § 36 n° 49; Gilliéron, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, Art. 159-270, 2001, n° 34 ad art. 174 LP; Giroud, in Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs II, Art. 159-352 SchKG, 2ème éd., 2010, n° 14 ad art. 174 LP).
Selon la jurisprudence, une décision judiciaire est nulle si le vice dont elle est entachée est particulièrement grave, manifeste ou du moins facilement décelable et si, en outre, la constatation de la nullité ne met pas sérieusement en danger la sécurité du droit. Hormis les cas expressément prévus par la loi, la nullité ne doit être admise qu'exceptionnellement, lorsque les circonstances sont telles que le système d'annulabilité n'offre manifestement pas la protection nécessaire; entrent principalement en considération comme motifs de nullité de graves vices de procédure ainsi que l'incompétence qualifiée de l'autorité qui a rendu la décision, de sorte qu'il serait choquant de maintenir sa décision. L'illégalité d'une décision ne constitue pas par principe un motif de nullité (ATF 132 III 80 consid. 2; 130 III 430 consid. 3.3; 130 II 249 consid. 2.4; 129 I 361 consid. 2; 122 I 97 consid. 3a/aa; arrêts 5A_785/2010 du 30 juin 2011 consid. 1.2; 5A_576/2010 du 18 novembre 2010 consid. 3.2.1; 5P.296/2005 du 17 novembre 2005 consid. 5.2.4.1, publié in Pra 2006 (69) p. 494; 7B.136/2002 du 23 octobre 2002 consid. 2.3.1).
4.2.2. En l'espèce, le recourant étant sans conteste domicilié en France, le jugement prononçant sa faillite personnelle à B._ (art. 46 LP) est entaché d'un vice manifeste qui entraîne sa nullité. L'office n'ayant même pas commencé à exécuter ce jugement, il ne saurait y avoir atteinte à la sécurité du droit.
Par ailleurs, l'argument du recourant qui affirme, en se fondant sur l'art. 5 al. 3 Cst., que l'office aurait pu demander au tribunal supérieur l'annulation du jugement de faillite est mal fondé, étant donné que l'office n'a pas qualité pour recourir contre une telle décision (Amonn/Walther, op. cit., § 36 n° 53; Cometta, in CoRo, Poursuite et faillite, 2005, n° 4 ad art. 174 LP; Diggelmann/Müller, in KUKO, 2009, n° 4 ad art. 174 LP; Giroud, op. cit., n° 14 ad art. 174 LP; Walder/Kull/Kottmann, Bundesgesetz über Schuldbetreibung und Konkurs, 4ème éd., 1997/99, Band II, Art. 159-292, n° 6 ad art. 174 LP).
En conclusion, le jugement de faillite du 23 mai 2013 est nul. Le grief du recourant fondé sur l'art. 5 al. 3 Cst. doit être rejeté, de même que celui de formalisme excessif, inopposable à l'autorité de surveillance qui a refusé d'ordonner à l'office d'exécuter un jugement entaché d'un tel vice.
5.
En conclusion, le recours est rejeté, dans la mesure où il est recevable. Les conclusions du recourant étant vouées à l'échec, sa requête d'assistance judiciaire est rejetée (art. 64 al. 1 LTF). Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
4.
Il n'est pas alloué de dépens.
5.
Le présent arrêt est communiqué aux parties, à l'Office des faillites et à la Cour de justice du canton de Genève, Chambre de surveillance des Offices des poursuites et faillites.
Lausanne, le 27 février 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: von Werdt
La Greffière: Achtari