Faits : A. A.a. Par jugement du 15 janvier 2016, le Tribunal de première instance du canton de Genève a prononcé la faillite sans poursuite préalable de X._ SA le jour même à 14h00, les conditions de l'art. 190 al. 1 ch. 2 LP étant réunies. A.b. Le 20 janvier 2016, X._ SA a formé un recours contre ce jugement devant la Cour de justice du canton de Genève (ci-après: Cour de justice) au moyen du formulaire mis à disposition par l'Office des faillites. Elle a conclu, " préparatoirement ", à la suspension des effets du jugement attaqué et, au fond, à son annulation et au rejet de la requête de faillite. Elle a fait valoir qu'elle était solvable. A.c. Par arrêt du 4 février 2016, expédié le 11 février 2016, la Cour de justice a déclaré le recours irrecevable pour défaut de motivation. B. Par acte posté le 14 mars 2016, X._ SA exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 4 février 2016. Elle conclut à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants, " tout en préservant [son] droit d'être entendu (soit en lui accorder (sic) un délai suffisant pour motiver son recours, soit en renvoyant l'affaire à la 1ère instance) ". Invitée à se déterminer sur la requête d'effet suspensif assortissant le recours, l'intimée a indiqué que le montant de xxxx fr. était toujours impayé et a proposé le rejet du recours. La Cour de justice s'est référée aux considérants de son arrêt. Des observations sur le fond n'ont pas été requises. C. Par ordonnance présidentielle du 13 avril 2016, l'effet suspensif a été attribué au recours en ce sens que le prononcé de la faillite reste en force mais qu'aucun acte d'exécution de la décision attaquée ne doit être entrepris, les éventuelles mesures conservatoires déjà prises par l'Office des faillites en vertu des art. 162 ss, 170, 174 al. 3 et 221 ss LP demeurant toutefois en vigueur.