Sachverhalt:
Sachverhalt:
A. Z._ und Y._ (Kläger) schlossen mit X._ (Beklagter) am 6. November 1997 und Nachtrag vom 18. September 1998 einen Grundstückkaufvertrag. Neben einem Grundstück für ein Einfamilienhaus samt zwei Autoeinstellplätzen erwarben die Kläger einen Miteigentumsanteil an einem gemeinschaftlichen Grundstück. Der Beklagte verpflichtete sich, das Einfamilienhaus sowie die Unterniveaugarage und die gemeinsamen Anlagen auf den Miteigentumsgrundstücken gemäss der Baubewilligung vom 13. März 1997 samt Beschrieb und Plänen zu erstellen. Der Kaufpreis war auf Fr. 796'000.-- festgesetzt. Verschiedene Änderungswünsche der Kläger, insbesondere die Erstellung eines Gästezimmers und eines Arbeitsraums im Untergeschoss anstelle eines Hobby- und eines Kellerraumes, führten zu Mehrkosten, so dass sich der Kaufpreis auf Fr. 955'702.09 erhöhte, wovon die Kläger Fr. 953'326.09 anerkannten. Sie bezahlten diesen Betrag mit Ausnahme von Fr. 60'000.--, welche bei einer Bank hinterlegt wurden und mit der korrekten Verlegung der Bodenbeläge freigegeben werden sollten.
A. Z._ und Y._ (Kläger) schlossen mit X._ (Beklagter) am 6. November 1997 und Nachtrag vom 18. September 1998 einen Grundstückkaufvertrag. Neben einem Grundstück für ein Einfamilienhaus samt zwei Autoeinstellplätzen erwarben die Kläger einen Miteigentumsanteil an einem gemeinschaftlichen Grundstück. Der Beklagte verpflichtete sich, das Einfamilienhaus sowie die Unterniveaugarage und die gemeinsamen Anlagen auf den Miteigentumsgrundstücken gemäss der Baubewilligung vom 13. März 1997 samt Beschrieb und Plänen zu erstellen. Der Kaufpreis war auf Fr. 796'000.-- festgesetzt. Verschiedene Änderungswünsche der Kläger, insbesondere die Erstellung eines Gästezimmers und eines Arbeitsraums im Untergeschoss anstelle eines Hobby- und eines Kellerraumes, führten zu Mehrkosten, so dass sich der Kaufpreis auf Fr. 955'702.09 erhöhte, wovon die Kläger Fr. 953'326.09 anerkannten. Sie bezahlten diesen Betrag mit Ausnahme von Fr. 60'000.--, welche bei einer Bank hinterlegt wurden und mit der korrekten Verlegung der Bodenbeläge freigegeben werden sollten.
B. Nachdem die Kläger die Schallschutzeigenschaften des Gebäudes bemängelt hatten, einigten sich die Parteien, ein bauakustisches Gutachten in Auftrag zu geben. Dieses Gutachten wurde durch ein Folgegutachten ergänzt. Am 4. Dezember 2000 reichten die Kläger beim Kantonsgericht Zug Klage ein. Sie verlangten vom Beklagten insbesondere die Beseitigung mehrerer Mängel und eine Beteiligung an den Kosten für die Gutachten im Umfang von Fr. 1'440.35 entsprechend 1⁄4 der Gesamtkosten. Der Beklagte erhob Widerklage und verlangte im Wesentlichen die Herausgabe der hinterlegten Fr. 60'000.-- sowie zusätzlich Fr. 2'376.-- nebst Zins. Das Kantonsgericht hiess die Klage teilweise gut und verpflichtete den Beklagten, gewisse Mängel auf eigene Kosten zu beseitigen unter Androhung der Ersatzvornahme. Zusätzlich hatte der Beklagte Fr. 576.15 zu bezahlen. Die Widerklage wies das Kantonsgericht ab. Dieses Urteil bestätigte das Obergericht des Kantons Zug am 31. Januar 2006 auf Berufung des Beklagten und Anschlussberufung der Kläger.
B. Nachdem die Kläger die Schallschutzeigenschaften des Gebäudes bemängelt hatten, einigten sich die Parteien, ein bauakustisches Gutachten in Auftrag zu geben. Dieses Gutachten wurde durch ein Folgegutachten ergänzt. Am 4. Dezember 2000 reichten die Kläger beim Kantonsgericht Zug Klage ein. Sie verlangten vom Beklagten insbesondere die Beseitigung mehrerer Mängel und eine Beteiligung an den Kosten für die Gutachten im Umfang von Fr. 1'440.35 entsprechend 1⁄4 der Gesamtkosten. Der Beklagte erhob Widerklage und verlangte im Wesentlichen die Herausgabe der hinterlegten Fr. 60'000.-- sowie zusätzlich Fr. 2'376.-- nebst Zins. Das Kantonsgericht hiess die Klage teilweise gut und verpflichtete den Beklagten, gewisse Mängel auf eigene Kosten zu beseitigen unter Androhung der Ersatzvornahme. Zusätzlich hatte der Beklagte Fr. 576.15 zu bezahlen. Die Widerklage wies das Kantonsgericht ab. Dieses Urteil bestätigte das Obergericht des Kantons Zug am 31. Januar 2006 auf Berufung des Beklagten und Anschlussberufung der Kläger.
C. Der Beklagte hat gegen das Urteil des Obergerichts sowohl staatsrechtliche Beschwerde als auch eidgenössische Berufung eingelegt. Das Bundesgericht hat die staatsrechtliche Beschwerde heute abgewiesen, soweit es darauf eintrat. Mit Berufung beantragt der Beklagte im Wesentlichen, das angefochtene Urteil aufzuheben, soweit er zur Beseitigung von Mängeln verpflichtet wurde, und er hält an den Herausgabebegehren in Bezug auf die Fr. 60'000.-- fest. Die Kläger schliessen auf kostenfällige Abweisung der Berufung und Bestätigung des angefochtenen Entscheides.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. Die Parteien sind darüber einig, dass ein gemischter Vertrag vorliegt und in Bezug auf die Pflicht zur Herstellung und Vollendung der Neubauten die werkvertraglichen Bestimmungen über die Mängelhaftung Anwendung finden unter Anwendbarkeit der SIA-Normen 181 und 118. Aus den Unterlagen für die Baubewilligung geht hervor, dass in Bezug auf die Luft- und Trittschallwerte die normalen Anforderungen laut SIA gewährleistet wurden und die behördlichen Auflagen eingehalten werden sollten. Zwischen den Parteien war streitig, ob dies bedeutet, dass in Bezug auf den Schallschutz nur die Mindestanforderungen gemäss SIA-Norm 181 Ziff. 2 21 zu beachten waren oder erhöhte Anforderungen, welche gemäss Ziff. 2 22 SIA-Norm 181 vertraglich vereinbart werden müssen. Die Vorinstanz ging davon aus, dass nur die Mindestanforderungen geschuldet seien. Soweit diese nicht erreicht wurden, verpflichtete sie den Beklagten zur Mängelbehebung. In Bezug auf den hinterlegten Betrag erkannte die Vorinstanz einerseits, der Beklagte könne bis zur Erfüllung der Nachbesserungsschuld keine Herausgabe verlangen, da die Kläger nach <ref-law> das Recht hätten, die Leistung zurückzuhalten. Zudem beständen Minderungsansprüche der Kläger und damit eine Verrechnungsforderung, welche die hinterlegte Summe übersteige.
1. Die Parteien sind darüber einig, dass ein gemischter Vertrag vorliegt und in Bezug auf die Pflicht zur Herstellung und Vollendung der Neubauten die werkvertraglichen Bestimmungen über die Mängelhaftung Anwendung finden unter Anwendbarkeit der SIA-Normen 181 und 118. Aus den Unterlagen für die Baubewilligung geht hervor, dass in Bezug auf die Luft- und Trittschallwerte die normalen Anforderungen laut SIA gewährleistet wurden und die behördlichen Auflagen eingehalten werden sollten. Zwischen den Parteien war streitig, ob dies bedeutet, dass in Bezug auf den Schallschutz nur die Mindestanforderungen gemäss SIA-Norm 181 Ziff. 2 21 zu beachten waren oder erhöhte Anforderungen, welche gemäss Ziff. 2 22 SIA-Norm 181 vertraglich vereinbart werden müssen. Die Vorinstanz ging davon aus, dass nur die Mindestanforderungen geschuldet seien. Soweit diese nicht erreicht wurden, verpflichtete sie den Beklagten zur Mängelbehebung. In Bezug auf den hinterlegten Betrag erkannte die Vorinstanz einerseits, der Beklagte könne bis zur Erfüllung der Nachbesserungsschuld keine Herausgabe verlangen, da die Kläger nach <ref-law> das Recht hätten, die Leistung zurückzuhalten. Zudem beständen Minderungsansprüche der Kläger und damit eine Verrechnungsforderung, welche die hinterlegte Summe übersteige.
2. Der Beklagte übernimmt in der Berufungsschrift zum Teil wörtlich die in der staatsrechtlichen Beschwerde erhobenen Rügen. In Bezug auf die Verletzung verfassungsmässiger Rechte bleibt indessen die staatsrechtliche Beschwerde vorbehalten (Art. 43 Abs. 1 OG). Entsprechende Vorbringen sind in der Berufung nicht zu hören (<ref-ruling> E. 2.2 S. 106; 136 E. 1.4 S. 140; <ref-ruling> E. 2c S. 547, je mit Hinweisen).
2. Der Beklagte übernimmt in der Berufungsschrift zum Teil wörtlich die in der staatsrechtlichen Beschwerde erhobenen Rügen. In Bezug auf die Verletzung verfassungsmässiger Rechte bleibt indessen die staatsrechtliche Beschwerde vorbehalten (Art. 43 Abs. 1 OG). Entsprechende Vorbringen sind in der Berufung nicht zu hören (<ref-ruling> E. 2.2 S. 106; 136 E. 1.4 S. 140; <ref-ruling> E. 2c S. 547, je mit Hinweisen).
3. Der Beklagte ist der Auffassung, die Kläger hätten ihr Recht auf Beseitigung der Mängel verwirkt, indem sie sein Angebot zur Mängelbeseitigung ausgeschlagen hätten. Er verkennt, dass die Vorinstanz in tatsächlicher Hinsicht davon ausging, der Beklagte habe kein vorbehaltloses, konkretes Angebot zur Mangelbeseitigung unterbreitet, sondern eine vergleichsweise Gesamtlösung vorgeschlagen. Kritik an dieser Beweiswürdigung der Vorinstanz ist im Berufungsverfahren nicht zulässig (<ref-ruling> E. 6a S. 81; <ref-ruling> E. 2b S. 13; <ref-ruling> E. 3 S. 85). Fehlt es an einem vorbehaltlosen Angebot zur Mangelbehebung, fällt eine Verwirkung der Mängelrechte ausser Betracht.
3. Der Beklagte ist der Auffassung, die Kläger hätten ihr Recht auf Beseitigung der Mängel verwirkt, indem sie sein Angebot zur Mängelbeseitigung ausgeschlagen hätten. Er verkennt, dass die Vorinstanz in tatsächlicher Hinsicht davon ausging, der Beklagte habe kein vorbehaltloses, konkretes Angebot zur Mangelbeseitigung unterbreitet, sondern eine vergleichsweise Gesamtlösung vorgeschlagen. Kritik an dieser Beweiswürdigung der Vorinstanz ist im Berufungsverfahren nicht zulässig (<ref-ruling> E. 6a S. 81; <ref-ruling> E. 2b S. 13; <ref-ruling> E. 3 S. 85). Fehlt es an einem vorbehaltlosen Angebot zur Mangelbehebung, fällt eine Verwirkung der Mängelrechte ausser Betracht.
4. Der Beklagte macht geltend, nur das erste Gutachten sei von den Parteien gemeinsam in Auftrag gegeben worden. Beim Folgegutachten handle es sich um einen Zusatzauftrag der Kläger und damit um ein Parteigutachten. Die Vorinstanz habe sich nicht mit der Frage auseinandergesetzt, ob es sich bei der Bestellung des Zusatzgutachtens um Ergänzungsfragen im Sinne der zwischen den Parteien getroffenen Vereinbarung handle, oder um einen effektiven Zusatzauftrag. Damit rügt der Beklagte eine Verletzung seines verfassungsmässigen Anspruchs auf rechtliches Gehör, was in der Berufung nicht zulässig ist. Sollte der Beklagte sinngemäss rügen wollen, nach Treu und Glauben sei das Folgegutachten nicht von der Vereinbarung über die Ergänzungsfragen gedeckt, da das Folgegutachten mit Zusatzmessungen verbunden war, ist seine Rüge unbegründet. Das Recht, Zusatzfragen zu stellen, bedingt nach Treu und Glauben auch die Möglichkeit, für die Beantwortung der Zusatzfragen notwendige zusätzliche Messungen vornehmen zu lassen. Die Berufung ist in diesem Punkt unbegründet, wobei überhaupt nur darauf einzutreten ist, soweit man zu Gunsten des Beklagten annimmt, das Obergericht habe diesbezüglich nicht verbindlich den tatsächlichen Willen der Parteien festgestellt, sondern eine Auslegung nach dem Vertrauensprinzip vorgenommen (vgl. <ref-ruling> E. 2.3.2 S. 274; <ref-ruling> E. 4.1 S. 611).
4. Der Beklagte macht geltend, nur das erste Gutachten sei von den Parteien gemeinsam in Auftrag gegeben worden. Beim Folgegutachten handle es sich um einen Zusatzauftrag der Kläger und damit um ein Parteigutachten. Die Vorinstanz habe sich nicht mit der Frage auseinandergesetzt, ob es sich bei der Bestellung des Zusatzgutachtens um Ergänzungsfragen im Sinne der zwischen den Parteien getroffenen Vereinbarung handle, oder um einen effektiven Zusatzauftrag. Damit rügt der Beklagte eine Verletzung seines verfassungsmässigen Anspruchs auf rechtliches Gehör, was in der Berufung nicht zulässig ist. Sollte der Beklagte sinngemäss rügen wollen, nach Treu und Glauben sei das Folgegutachten nicht von der Vereinbarung über die Ergänzungsfragen gedeckt, da das Folgegutachten mit Zusatzmessungen verbunden war, ist seine Rüge unbegründet. Das Recht, Zusatzfragen zu stellen, bedingt nach Treu und Glauben auch die Möglichkeit, für die Beantwortung der Zusatzfragen notwendige zusätzliche Messungen vornehmen zu lassen. Die Berufung ist in diesem Punkt unbegründet, wobei überhaupt nur darauf einzutreten ist, soweit man zu Gunsten des Beklagten annimmt, das Obergericht habe diesbezüglich nicht verbindlich den tatsächlichen Willen der Parteien festgestellt, sondern eine Auslegung nach dem Vertrauensprinzip vorgenommen (vgl. <ref-ruling> E. 2.3.2 S. 274; <ref-ruling> E. 4.1 S. 611).
5. In Bezug auf die hinterlegten Fr. 60'000.-- führt der Beklagte aus, da keine Pflicht zur Mangelbeseitigung bestehe, sei auch kein Rückbehaltungsrecht gegeben, weshalb die Widerklage jedenfalls im Umfang, in dem keine Verrechnungsforderungen der Kläger bestehen, gutzuheissen sei.
5.1 Die Frage, ob der Anspruch des Beklagten durch Verrechnung untergegangen ist, stellt sich unabhängig davon, ob sich die Kläger allenfalls auch auf ein Rückbehaltungsrecht berufen könnten. Ging der Anspruch des Beklagten durch Verrechnung unter, erübrigen sich weitere Erörterungen zum Rückbehaltungsrecht.
5.2 Der Beklagte führt aus, die Vorinstanz habe die von ihm angerufenen Beweismittel zur Frage, ob sein Angebot der Nachbesserung des Mauerwerks im Untergeschoss dem vertraglich Vereinbarten gleichwertig sei, überhaupt nicht, beziehungsweise nicht richtig gewürdigt. Sofern der Beklagte mit der Behauptung, die Vorinstanz habe die Beweismittel nicht gewürdigt, eine Verletzung seines Anspruches auf Beweisführung und damit von <ref-law> geltend machen will, ist darauf hinzuweisen, dass sich die Vorinstanz mit dem Gutachten, auf das sich der Beklagte beruft, auseinandersetzt und ausführt, der Beklagte hätte mit einer Zusatzfrage an den Experten ein taugliches Beweismittel schaffen müssen. Damit hat sie die vom Beklagten angeführten Beweise nicht missachtet, sondern für zu wenig beweiskräftig gehalten. Kritik an dieser Beweiswürdigung ist in der Berufung nicht zu hören (<ref-ruling> E. 6a S. 81; <ref-ruling> E. 2b S. 13; <ref-ruling> E. 3 S. 85).
5.2 Der Beklagte führt aus, die Vorinstanz habe die von ihm angerufenen Beweismittel zur Frage, ob sein Angebot der Nachbesserung des Mauerwerks im Untergeschoss dem vertraglich Vereinbarten gleichwertig sei, überhaupt nicht, beziehungsweise nicht richtig gewürdigt. Sofern der Beklagte mit der Behauptung, die Vorinstanz habe die Beweismittel nicht gewürdigt, eine Verletzung seines Anspruches auf Beweisführung und damit von <ref-law> geltend machen will, ist darauf hinzuweisen, dass sich die Vorinstanz mit dem Gutachten, auf das sich der Beklagte beruft, auseinandersetzt und ausführt, der Beklagte hätte mit einer Zusatzfrage an den Experten ein taugliches Beweismittel schaffen müssen. Damit hat sie die vom Beklagten angeführten Beweise nicht missachtet, sondern für zu wenig beweiskräftig gehalten. Kritik an dieser Beweiswürdigung ist in der Berufung nicht zu hören (<ref-ruling> E. 6a S. 81; <ref-ruling> E. 2b S. 13; <ref-ruling> E. 3 S. 85).
6. Dem Beklagten gelingt es nicht, in Bezug auf die Verrechnungsforderungen der Kläger eine Bundesrechtsverletzung nachzuweisen. Damit hat die Vorinstanz auch die Begehren des Klägers im Zusammenhang mit der Herausgabe der hinterlegten Fr. 60'000.-- bundesrechtskonform abgewiesen. Die Berufung erweist sich insgesamt als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Dem Prozessausgang entsprechend wird der Beklagte kosten- und entschädigungspflichtig (Art. 156 Abs. 1 und 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Berufung wird abgewiesen, soweit darauf einzutreten ist.
1. Die Berufung wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtsgebühr von Fr. 3'000.-- wird dem Beklagten auferlegt.
2. Die Gerichtsgebühr von Fr. 3'000.-- wird dem Beklagten auferlegt.
3. Der Beklagte hat die Kläger für das bundesgerichtliche Verfahren mit insgesamt Fr. 3'500.-- zu entschädigen.
3. Der Beklagte hat die Kläger für das bundesgerichtliche Verfahren mit insgesamt Fr. 3'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, Zivilrechtliche Abteilung, schriftlich mitgeteilt.
Lausanne, 22. Juni 2006
Im Namen der I. Zivilabteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: