Sachverhalt: A. A.a Die Y._ Investments N.V. (Beschwerdegegnerin) ist eine Investmentgesellschaft, die auf den Niederländischen Antillen domiziliert ist und zu 100% von der Y._ Holding AG kontrolliert wird. Im November 2007 investierte sie auf Betreiben ihres vormaligen "Treasurer", C._, in eine von der Z._-Bank herausgegebene USD 100 Mio. Credit Linked Note. Für diese Transaktion stellte die X._ Management SA (Beschwerdeführerin 2) Rechnung über USD 1.5 Mio., die in der Folge - diesbezüglich vertreten die Parteien unterschiedliche Auffassungen - von der Beschwerdegegnerin bzw. der Y._ Holding AG bezahlt wurde. Am 21. Januar 2008 unterschrieb C._ namens der Beschwerdegegnerin ein "Asset Management Facilitation Agreement" (nachfolgend: AMFA) mit der X._ Holding AG (Beschwerdeführerin 1) über einen Anlagebetrag von USD 200 Mio. In der Folge verpfändete C._ die vorerwähnte Credit Linked Note gegen ein Darlehen über USD 82 Mio. an die I._-Bank. Von diesem Darlehensbetrag wurden 70 Mio. in den Kauf von zwei HSBC Structured Notes im Ausgabewert von je USD 35 Mio. investiert. Für diese Transaktion bezahlte die Beschwerdegegnerin der Beschwerdeführerin 2 einen Betrag von USD 1.225 Mio. A.b Wegen der beiden Kommissionszahlungen in Höhe von insgesamt USD 2.725 Mio. reichte die Beschwerdegegnerin am 25. Juli 2008 bei der Staatsanwaltschaft des Kantons Zürich gegen C._ sowie A._ und B._ (Beschwerdeführer 3 und 4; Mitglieder bzw. ehemalige Mitglieder des Verwaltungsrates der Beschwerdeführerin 1) Strafanzeige wegen Veruntreuung, eventuell ungetreuer Geschäftsbesorgung ein. Am 30. Juli 2008 sperrte die zuständige Staatsanwaltschaft III sämtliche Konti der Beschwerdeführer sowie von C._ bei den Schweizer Filialen der L._-Bank. A.c Wegen angeblicher Nichteinhaltung des AMFA erwirkte die Beschwerdeführerin 1 am 18. Juli 2008 in Curaçao, Niederländische Antillen, gegen die Beschwerdegegnerin einen Arrest über USD 209.3 Mio. Zur Prosequierung des behaupteten Anspruchs leitete sie am 15. Oktober 2008 gestützt auf Art. 22 des AMFA ein Schiedsverfahren vor dem International Centre for Dispute Resolution in New York ein. Art. 22 AMFA lautet wie folgt: "In the event of disputes concerning any aspect of the Agreement, including Claim of breach, remedy shall first be sought by communication between parties. lf such communication fails to resolve the dispute then the parties agree in advance to have the dispute submitted to binding arbitration through The American Arbitration Association or to any other US court. The prevailing party shall be entitled to attorney's fees and costs. The arbitration may be entered as a judgement in any court of competent jurisdiction. The arbitration shall be conducted based upon the Rules and Regulations of the International Chamber of Commerce (ICC 500)." Das International Centre for Dispute Resolution nahm das Verfahren nicht an die Hand, weil die im AMFA vereinbarten "ICC-Rules" nicht mit den vor der American Arbitration Association (nachfolgend: AAA) geltenden Regeln übereinstimmten. Daraufhin stellte die Beschwerdeführerin 1 beim United State District Court Southern District of New York ein Gesuch um Durchführung eines Schiedsverfahrens, das mit Entscheid vom 2. April 2009 abgewiesen wurde, da keine durchsetzbare Schiedsgerichtsklausel vorliege. Diesen Entscheid zog die Beschwerdeführerin 1 am 8. April 2009 an den United States Court of Appeals for the Second Circuit weiter. B. Mit Eingabe vom 6. Januar 2009 erhob die Beschwerdegegnerin beim Kantonsgericht Zug Klage und beantragte, es seien die Beschwerdeführer solidarisch zu verpflichten, ihr einen Betrag von USD 1.5 Mio. sowie von USD 1.225 Mio., je nebst Zins zu bezahlen, unter Vorbehalt der Nachklage. Zudem sei festzustellen, dass der als "Asset Management Facilitation Agreement" bezeichnete und angeblich namens der Beschwerdegegnerin und der Beschwerdeführerin 1 unterzeichnete Vertrag vom 21. Januar 2008 nicht gültig zustande gekommen sei. Eventualiter sei festzustellen, dass der vorerwähnte Vertrag nichtig, subeventualiter für die Beschwerdegegnerin unverbindlich, subsubeventualiter im Sinne von Ziff. 17a des Vertrages automatisch beendet und überdies rechtsgültig gekündigt sei. Die Beschwerdeführer stellten in der Klageantwort vom 22. April 2009 die Prozessbegehren, das Verfahren auf die Zuständigkeit des von der Beschwerdegegnerin angerufenen Gerichts zu beschränken. Zudem verlangten sie, das Verfahren vorläufig einzustellen, bis das Verfahren vor dem United States Court of Appeals for the Second Circuit betreffend den Entscheid des United State Court District Southern District of New York rechtskräftig entschieden bzw. bis das Strafverfahren im Kanton Zürich erledigt sei. Mit Beschluss vom 14. Dezember 2009 verwarf das Kantonsgericht die erhobene Einrede der Schiedsvereinbarung gegenüber der Beschwerdeführerin 1 bzw. der örtlichen Unzuständigkeit gegenüber den Beschwerdeführern 2-4 und trat auf die Klage ein. Das Sistierungsgesuch wies es ab. Gegen diesen Beschluss gelangten die Beschwerdeführer an die Justizkommission des Obergerichts des Kantons Zug (im Folgenden: Obergericht) und beantragten, die Parteien seien bezüglich der Beschwerdeführerin 1 auf den Schiedsweg zu verweisen und in Bezug auf die Beschwerdeführer 2-4 sei auf die Klage mangels örtlicher Zuständigkeit nicht einzutreten. Das Obergericht wies die Beschwerde am 8. April 2010 ab. Es verneinte, dass zwischen der Beschwerdeführerin 1 und der Beschwerdegegnerin eine gültige Schiedsabrede bestehe und bejahte die Zuständigkeit des Kantonsgerichts gestützt auf Art. 129 Abs. 1 IPRG i.V.m. Art. 2 Abs. 1 LugÜ. Hinsichtlich der Beschwerdeführer 2-4 bejahte das Obergericht die Zuständigkeit des Kantonsgerichts als zuerst angerufenes Gericht im Sinne von Art. 129 Abs. 2 IPRG. C. Die Beschwerdeführer beantragen mit Beschwerde in Zivilsachen, dieses Urteil des Obergerichts aufzuheben. Die Parteien seien bezüglich der Beschwerdeführerin 1 auf den Schiedsweg zu verweisen und in Bezug auf die Beschwerdeführer 2-4 sei auf die Klage mangels örtlicher Zuständigkeit nicht einzutreten. Eventuell sei die Sache zur weiteren Abklärung und Neubeurteilung an die Vorinstanz zu verweisen. Die Beschwerdegegnerin schliesst auf Abweisung der Beschwerde. Das Obergericht verzichtete unter Verweis auf die Erwägungen im angefochtenen Entscheid auf eine Vernehmlassung. Der Beschwerde wurde mit Präsidialverfügung vom 3. Juni 2010 aufschiebende Wirkung erteilt. Mit Verfügung vom 29. Juli 2010 wurde ein Gesuch der Beschwerdegegnerin um Sicherstellung einer allfälligen Parteientschädigung abgewiesen.