Sachverhalt: A. Die sich in Liquidation befindende H._ GmbH (Beklagte 1) mit Sitz in Zug bezweckte die Führung einer Generalunternehmung, den Handel mit sowie den Kauf und Verkauf von Immobilien und Beteiligungen. G.G._ (Beklagte 2, Beschwerdegegnerin) ist die Frau des am 21. Oktober 2006 verstorbenen H.G._, der bis November 2006 als Geschäftsführer der Beklagten 1 mit Einzelunterschrift im Handelsregister eingetragen war. Im Jahr 2001 schlossen A.A._ und B.A._ (Kläger und Beschwerdeführer 1 und 2), C.C._ und D.C._ (Kläger und Beschwerdeführer 3 und 4) sowie E.E._ und F.E._ (Kläger und Beschwerdeführer 5 und 6) mit der Beklagten 1 je einen "Generalunternehmer-Werkvertrag ". Die Beklagte 1, deren Projektleiter H.G._ war, übernahm die Verpflichtung, an der Strasse U._ 50, 52 bzw. 54 in Küsnacht/ZH je ein Einfamilienhaus zum Preis von Fr. 1.81 Mio, Fr. 1.71 Mio. bzw. Fr. 1.797 Mio bis zum 1. September 2002 zu erstellen. Infolge von heftigen Regenfällen vom 7. bis 9. August 2007 kam es zu einem Wassereinbruch in den drei Häusern der Kläger. Nachdem die Kläger bei der Beklagten 1 schriftlich Mängelrüge erhoben und sie erfolglos zu deren Behebung sowie zum Schutz vor allfälligen weiteren Schadensfällen aufgefordert hatten, liessen sie im Sinne einer Ersatzvornahme ein Hochwasserschutzkonzept realisieren. Am 30. August 2012 verkauften die Kläger 3 und 4 ihre Liegenschaft an der Strasse U._ 52 an Dritte. Dabei erzielten sie einen Kaufpreis von Fr. 3.2 Mio. B. Mit Klage vom 23. März 2009 beantragten die Kläger beim Kantonsgericht Zug, die Beklagten seien solidarisch zu verpflichten, ihnen Fr. 1'959'861.85 nebst Zins zu bezahlen, unter Vorbehalt der Erhöhung bzw. Herabsetzung dieses Betrages nach Durchführung des Beweisverfahrens. Nachdem das Verfahren mit Verfügung vom 9. September 2009 auf die Frage der Haftung der Beklagten beschränkt worden war, stellte das Kantonsgericht Zug mit Vorentscheid vom 8. November 2013 fest, dass die Beklagte 1 den Klägern die Kosten für folgende Nachbesserungsarbeiten an den drei streitbetroffenen Liegenschaften zu ersetzen habe: Hochwasserentlastungsrinne, Notüberlauf, Lieferung und Installation neuer Pumpen, Abdichtungsarbeiten, Gärtnerarbeiten, Kosten für Vermessungsdaten, Kosten für Bauversicherung, Untersuchung und Reinigung der Sickerleitungen, Gutachten und Piezometer-Messungen, amtlicher Befund sowie Planung und Ersatzvorname. Überdies wurde festgestellt, dass die Beklagten 1 und 2 dem Grunde nach für folgende Schäden der Kläger haften: Merkantiler Minderwert, Kosten für ein Privatgutachten, Anwaltskosten und Selbstbehalt der Gebäudeversicherung. Die Klage gegen die Beklagten 1 und 2 betreffend Schaden aus Landverlust sowie die Klage gegen die Beklagte 2 betreffend Kosten für Nachbesserungsarbeiten wurden abgewiesen. Mit Urteil vom 16. Dezember 2014 wies das Obergericht des Kantons Zug die gegen diesen Vorentscheid erhobene Berufung der Beklagten 2 - mit Ausnahme des Kostenpunktes - sowie die von den Klägern erhobene Anschlussberufung ab. Mit Urteil vom 27. Januar 2015 hiess das Obergericht des Kantons Zug die Beschwerde der Beklagten 1 gegen die Kostenverteilung gut. B.a. An der Hauptverhandlung vom 27. Februar 2017 änderten die Kläger ihr Rechtsbegehren und beantragten, die Beklagte 1 sei zu verpflichten, den Klägern Fr. 1'419'322.05 nebst Zins zu bezahlen und ihr seien sämtliche Kosten aller drei gerichtlichen Gutachten aufzuerlegen. Die Beklagte 2 sei zu verpflichten, den Klägern Fr. 1'097'810.-- nebst Zins zu bezahlen, und ihr seien die Kosten für das gerichtliche Gutachten des Sachverständigen I._ aufzuerlegen. B.b. Mit Entscheid vom 24. April 2017 verurteilte das Kantonsgericht Zug die Beklagte 1 zur Zahlung von Fr. 329'547.25 nebst Zins an die Kläger. Daneben wurden die Beklagten 1 und 2 unter solidarischer Haftbarkeit verpflichtet, den Klägern den Betrag von Fr. 44'402.85 (vorprozessuale Anwaltskosten und Selbstbehalt Gebäudeversicherung) nebst Zins zu zahlen. B.c. Gegen diesen Entscheid erhoben die Kläger am 26. Mai 2017 Berufung beim Obergericht des Kantons Zug. Sie beantragten, es seien die Beklagten 1 und 2 unter solidarischer Haftbarkeit zu verpflichten, ihnen - zusätzlich zu dem mit Entscheid des Kantonsgerichts vom 24. April 2017 zugesprochenen Betrag - Fr. 1'040'000.-- nebst Zins zu 5 % seit dem 1. Februar 2009 als Schaden aus merkantilem Minderwert zu bezahlen. Mit Urteil vom 29. Mai 2018 wies das Obergericht die Berufung hinsichtlich der Beklagten 2 ab, soweit darauf einzutreten war. Hinsichtlich der Beklagten 1 wurde das Verfahren infolge Konkurseröffnung sistiert. C. Mit Beschwerde in Zivilsachen beantragen die Kläger, das Urteil des Obergerichts des Kantons Zug vom 29. Mai 2018 sei aufzuheben und es sei die Sache zur neuen Beurteilung an die Vorinstanz, eventualiter an die Erstinstanz, zurückzuweisen. Eventualiter sei das Urteil des Obergerichts des Kantons Zug vom 29. Mai 2018 aufzuheben und es sei die Beschwerdegegnerin zu verpflichten, den Beschwerdeführern zusätzlich zu dem erstinstanzlich zugesprochenen Betrag den Betrag von Fr. 1'040'000.-- nebst Zins zu 5 % seit dem 1. Februar 2009 zu bezahlen. Zusätzlich sei die Sache zur Neuverlegung der Prozesskosten der kantonalen Verfahren an die Vorinstanz, eventualiter an die Erstinstanz, zurückzuweisen. Die Beschwerdegegnerin und die Vorinstanz beantragen die Abweisung der Beschwerde. Die Kläger haben eine Replik eingereicht.