Sachverhalt:
A. Mit Eingabe vom 7. April 2011 ersuchte X._ beim Kantonsgericht Zug gestützt auf Art. 190 Abs. 1 und 2 SchKG sowie Art. 192 SchKG i.V.m. Art. 725a OR um Konkurseröffnung ohne vorgängige Betreibung über das Vermögen der Z._ AG. In seiner Replik vom 29. April 2011 verlangte er sodann auch eine Sicherheitsleistung.
Mit Verfügung vom 12. Mai 2011 wies das Kantonsgericht sowohl den Antrag auf Sicherheitsleistung als auch das Gesuch um Konkurseröffnung ohne vorgängige Betreibung ab.
Die hiergegen von X._ erhobene Beschwerde wies das Obergericht des Kantons Zug mit Urteil vom 21. Juli 2011 ab.
B. Gegen dieses Urteil hat X._ am 31. August 2011 eine Beschwerde in Zivilsachen und eine "subsidiäre staatsrechtliche Beschwerde" erhoben mit den Begehren um dessen Aufhebung und Eröffnung des Konkurses ohne vorgängige Betreibung, eventualiter um Rückweisung der Sache an die Vorinstanz. Es wurden keine Vernehmlassungen eingeholt, womit der Verfahrensantrag auf Durchführung eines zweiten Schriftenwechsels gegenstandslos ist.
Erwägungen:
1. Der Beschwerdeführer stellt sein Rechtsbegehren zweimal, einmal als Beschwerde in Zivilsachen, einmal als "subsidiäre staatsrechtliche Beschwerde" (offensichtlich gemeint: subsidiäre Verfassungsbeschwerde). Entscheide in Schuldbetreibungs- und Konkurssachen unterliegen indes der Beschwerde in Zivilsachen (Art. 72 Abs. 2 lit. a BGG), und soweit diese offen steht, ist die subsidiäre Verfassungsbeschwerde, wie es bereits ihr Name sagt, unzulässig (vgl. Art. 113 BBG), weil das Verfassungsrecht ebenfalls zum Bundesrecht im Sinn von Art. 95 lit. a BGG gehört und demnach auch Verfassungsrügen direkt mit der Beschwerde in Zivilsachen vorgebracht werden können. Die Eingabe ist deshalb insgesamt als Beschwerde in Zivilsachen zu behandeln. Die übrigen Beschwerdevoraussetzungen geben zu keinen Bemerkungen Anlass.
2. In der ersten Hälfte der Beschwerde wird aufgeführt, dass vorliegend eine Beweislastumkehr gelten müsse und deshalb Art. 8 ZGB (insbesondere in Verbindung mit Art. 2 ZGB) verletzt sei. Diesen Ausführungen ist nicht zu folgen. Wer die Konkurseröffnung verlangt, hat im Rahmen der gesetzlichen Anforderungen die diesbezüglichen Voraussetzungen nachzuweisen. Gleiches gilt, soweit der Beschwerdeführer sich in seiner Beschwerde zur Glaubhaftmachung äussert; die einschlägigen gesetzlichen Bestimmungen legen abschliessend fest, für welche Tatsachen welches Beweismass gilt.
3. Teilweise auf diese Punkte beziehen sich auch die Verfassungsrügen der Verletzung des rechtlichen Gehörs und des Willkürverbotes, welche der Beschwerdeführer ganz zum Schluss seiner Eingabe vorbringt. Diesbezüglich vermögen seine Ausführungen indes den an Verfassungsrügen zu stellenden besonderen Rügeanforderungen nicht zu genügen:
Im Unterschied zu allgemeinen Rechtsverletzungen, die nur den Begründungsanforderungen von Art. 42 Abs. 2 BGG zu genügen haben, gilt für Verfassungsrügen das strenge Rügeprinzip (Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.2 S. 255). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die Lage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (BGE 134 II 244 E. 2.2 S. 246).
Vorliegend bringt der Beschwerdeführer einzig vor, er habe "zahlreiche Beweise für seine Ausführungen eingereicht und offeriert. Indem die Vorinstanz nicht korrekt auf diese Beweise und Beweisofferten eingegangen ist, hat sie auch das rechtliche Gehör des Beschwerdeführers verletzt." Mit einer solch pauschalen Aussage - ohne dass aufgezeigt wird, mit Bezug auf welche Tatsachenbehauptungen welche Beweismittel eingereicht worden wären und aus welchen Gründen deren Abnahme entscheidwesentlich gewesen wäre - bleibt das Rügeprinzip gänzlich unbeachtet, weshalb auf die Gehörsrüge nicht eingetreten werden kann.
Gleiches gilt für die Willkürrüge, die sich auf die folgende, völlig unsubstanziierte und in keiner Weise auf die ausführlichen Erwägungen im angefochtenen Entscheid Bezug nehmende Pauschalkritik beschränkt: "Die Art und Weise, wie die Vorinstanz die Beweiswürdigung vorgenommen hat (Nichtberücksichtigen der Beweislastumkehr, falsche Handhabung der geforderten Beweisstrenge, Zugrundelegen von nicht zutreffenden Definitionen), wird als Verstoss gegen das verfassungsrechtliche Willkürverbot gerügt. Und zwar ist nicht nur die tendenziöse Vorgehensweise stossend, sondern auch das Ergebnis ist schlicht und einfach unhaltbar."
4. In der Sache selbst verlangt der Beschwerdeführer zunächst eine Konkurseröffnung gestützt auf Art. 192 SchKG i.V.m. Art. 725a SchKG.
4.1 Das Obergericht hat diese verneint mit der Begründung, einzig der Verwaltungsrat und bei offensichtlicher Überschuldung die Revisionsstelle bzw. gegebenenfalls die Liquidatoren seien zur Einreichung einer Überschuldungsanzeige aufgerufen; weitere Personen, namentlich die Gläubiger, seien hierzu nicht befugt.
4.2 Diesbezüglich macht der Beschwerdeführer geltend, das Gesetz definiere den zur Stellung des Konkursantrages legitimierten Personenkreis nicht. Im Übrigen dürfe ein Richter nicht mehr passiv bleiben, wenn er sich einer Situation gegenübergestellt sehe, in welcher die Revisionsstelle wegen offensichtlicher Überschuldung einschreiten müsste.
4.3 Entgegen der Ansicht des Beschwerdeführers definiert das Gesetz den jeweils zur Stellung des Konkursantrages legitimierten Personenkreis sehr wohl: Art. 190 SchKG regelt, unter welchen Voraussetzungen ein Gläubiger den Konkurs ohne vorgängige Betreibung verlangen kann (vgl. Marginalie und Text von Art. 190 Abs. 1 SchKG). Art. 191 SchKG widmet sich der Konkurseröffnung auf Begehren des Schuldners (vgl. Marginalie und Gesetzestext). Der vorliegend interessierende Art. 192 SchKG verweist sodann auf das OR, nach dessen Art. 725 Abs. 2 i.V.m. Art. 716a Abs. 1 Ziff. 7 bzw. Art. 725 Abs. 3 i.V.m. Art. 728c Abs. 3 und Art. 729c die Anzeigepflicht dem Verwaltungsrat bzw. der Revisionsstelle oder dem Revisor - gegebenenfalls auch den Liquidatoren - obliegt und nach dessen Art. 725a Abs. 1 gestützt auf die Benachrichtigung (vorbehältlich eines Aufschubs in den gegebenen Fällen) der Konkurs zu eröffnen ist. Andere Organe oder Personen können keine Überschuldungsanzeige machen, namentlich nicht die Gläubiger (BGE 99 Ia 10 E. 2b S. 16; KUNZ, in: Der Schweizer Treuhänder 1998 S. 507; KRAMPF/SCHULER, in: AJP 2002 S. 1064).
Die rechtmässige Benachrichtigung des Richters durch eines der erwähnten Organe gehört zu den formellen Voraussetzungen der Konkurseröffnung gemäss Art. 192 SchKG. Entgegen der Behauptung des Beschwerdeführers darf der Richter nicht von sich aus den Konkurs aussprechen, wenn er auf andere Weise als durch die gehörige Anzeige von einer allfälligen Überschuldung erfährt (BGE 99 Ia 10 E. 2b S. 16; HARDMEIER, in: Zürcher Kommentar, N. 1299 zu Art. 725a OR; GIROUD, Die Konkurseröffnung und ihr Aufschub bei der Aktiengesellschaft, 2. Aufl. Zürich 1986, § 5 N. 91).
5. Sodann verlangt der Beschwerdeführer eine Konkurseröffnung gestützt auf Art. 190 Abs. 1 Ziff. 1 SchKG.
5.1 Diesbezüglich hat das Obergericht erwogen, der Beschwerdeführer sei erst am 18. Juni 2010 Gläubiger der Beschwerdegegnerin geworden und habe nicht glaubhaft gemacht, dass er im Zeitpunkt der angeblichen betrügerischen Handlungen bereits Gläubiger gewesen wäre. Im Übrigen wären ohnehin auch die behaupteten betrügerischen Handlungen nicht nachgewiesen (was im Einzelnen ausführlich begründet wird).
5.2 Der Beschwerdeführer ist der Auffassung, gemäss BRUNNER/BOLLER, in: Basler Kommentar, N. 10 zu Art. 190 SchKG, sei der Zeitpunkt der Entstehung der Forderung nicht massgeblich. Er übersieht dabei, dass sich die betreffende Note auf die Tatbestandsvariante der Verheimlichung von Vermögenswerten bei der Betreibung auf Pfändung bezieht. Vorliegend geht es indes um die Tatbestandsvariante der betrügerischen Handlungen des Schuldners, in welcher Hinsicht die vom Obergericht korrekt zitierte Kommentarstelle N. 8 einschlägig ist, nach welcher der Gläubiger bereits im Zeitpunkt der Tatbegehung Gläubigerstellung gehabt haben musste (vgl. zum betreffenden Unterschied auch HUBER, in: Kurzkommentar SchKG, N. 5 zu Art. 190 SchKG). Dies entspricht im Übrigen der in BGE 97 I 309 E. 2 S. 311 publizierten bundesgerichtlichen Rechtsprechung.
Bei diesem Resultat brauchen die weiteren Fragen rund um die angeblichen betrügerischen Handlungen, in welcher Hinsicht der Beschwerdeführer dem Obergericht eine falsche Begriffsdefinition vorwirft, nicht beantwortet zu werden.
6. Schliesslich verlangt der Beschwerdeführer eine Konkurseröffnung gestützt auf Art. 190 Abs. 1 Ziff. 2 SchKG.
6.1 Das Obergericht hat diesbezüglich festgehalten, der Nachweis der Zahlungseinstellung bzw. Zahlungsunfähigkeit sei in erster Linie durch einen aktuellen Betreibungsregisterauszug zu führen, der vorliegend vom 4. Mai 2011 datiere. Daraus gingen 14 hängige Betreibungen über einen Totalbetrag von Fr. 2'760'041.60 hervor, wovon zehn Betreibungen über gesamthaft Fr. 2'662'314.80 mit dem Status "Rechtsvorschlag" aufgeführt seien. Davon gingen fünf Betreibungen mit einem Gesamtbetrag von Fr. 2'056'001.-- auf den Beschwerdeführer oder ihm nahe stehende Personen zurück; diese dürften bei der Beurteilung der Zahlungsfähigkeit nur marginal ins Gewicht fallen, weil die Einleitung einer Betreibung ohne Nachweis eines Forderungsbestandes möglich sei. Weiter ergebe sich, dass zwischen dem 16. März 2011 und dem 28. April 2011 Zahlungen von Fr. 255'690.23, EUR 93'637.94 und $ 151'297.-- ausgeführt worden seien. Es seien keine Unterlagen bei den Akten, wonach die Beschwerdegegnerin ihre Gläubiger um Geduld gebeten hätte. Im Gegenteil habe der Verwaltungsrat gegenüber einer Aktionärin ausgeführt, im zweiten Halbjahr 2010 habe Gewinn erwirtschaftet und das nötige "Working Capital" beschafft werden können. Demgegenüber habe der Beschwerdeführer seine Behauptungen, wonach angeblich 80 % des Aktienkapitals aufgezehrt und die Beschwerdegegnerin seit Bestehen illiquide sei sowie bilanzierte Aktiven nicht vorhanden seien, nicht glaubhaft machen können.
6.2 Diesbezüglich macht der Beschwerdeführer geltend: "Die Vorinstanz lässt dabei ausser Acht, dass Zahlungseinstellung im Sinne von Art. 190 Abs. 1 Ziff. 2 SchKG schon vorliegt, wenn sich die Zahlungssperre auf einen wesentlichen Teil des Geschäftsbetriebs bezieht. Auch hier operiert die Vorinstanz mit einer eigenwilligen und nicht ganz zutreffenden Begriffsdefinition, um danach zu behaupten, der Beschwerdeführer könne die Voraussetzungen nicht genügend glaubhaft machen."
Der Beschwerdeführer gibt nichts anderes wieder, als was das Obergericht selbst festgehalten hat. Dieses hat zutreffend ausgeführt, dass eine Zahlungseinstellung im Sinn von Art. 190 Abs. 1 Ziff. 2 SchKG vorliegt, wenn der Schuldner während längerer Zeit einen erheblichen Anteil der laufenden und unbestrittenen Forderungen nicht bezahlt (Urteile 5P.312/2002 vom 13. Februar 2003 E. 3.3; 5A_350/2007 vom 19. September 2007 E. 4.3). Eine vollständige Zahlungseinstellung ist nicht erforderlich, sondern es genügt, dass sich die Zahlungsverweigerung auf wesentliche Teile der geschäftlichen Aktivitäten des Schuldners bezieht oder dass ein Hauptgläubiger nicht mehr befriedigt werden kann (BGE 85 III 146 E. 4a S. 154; zur Publikation bestimmtes Urteil 5A_197/2011 vom 15. August 2011 E. 3.4.1).
Das Obergericht hat den massgeblichen Rechtsbegriff der Zahlungseinstellung - zumal dieser unbestimmt ist und einen Ermessensspielraum eröffnet (Urteile 5P.33/2002 vom 7. März 2002 E. 4; 5A_439/2010 vom 11. November 2010 E. 4) - nicht falsch angewandt, wenn es - ausgehend von den in E. 6.1 dargestellten, für das Bundesgericht grundsätzlich verbindlich festgestellten (Art. 105 Abs. 1 BGG) und vom Beschwerdeführer auch nicht angefochtenen Sachverhaltselementen - für den vorliegenden Fall dafür gehalten hat, die Beschwerdegegnerin möge in der Vergangenheit gewisse Liquiditätsschwierigkeiten gehabt haben, permanente Liquiditätsprobleme seien aber nicht belegt.
7. Zusammenfassend ergibt sich, dass die Beschwerde in Zivilsachen abzuweisen ist, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen. Der Gegenseite ist kein entschädigungspflichtiger Aufwand entstanden.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, II. Beschwerdeabteilung, schriftlich mitgeteilt.
Lausanne, 9. November 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Möckli