Sachverhalt: Sachverhalt: A. Z._ und Y._ (Kläger) schlossen mit X._ (Beklagter) am 6. November 1997 und Nachtrag vom 18. September 1998 einen Grundstückkaufvertrag. Neben einem Grundstück für ein Einfamilienhaus samt zwei Autoeinstellplätzen erwarben die Kläger einen Miteigentumsanteil an einem gemeinschaftlichen Grundstück. Der Beklagte verpflichtete sich, das Einfamilienhaus sowie die Unterniveaugarage und die gemeinsamen Anlagen auf den Miteigentumsgrundstücken gemäss der Baubewilligung vom 13. März 1997 samt Beschrieb und Plänen zu erstellen. Der Kaufpreis war auf Fr. 796'000.-- festgesetzt. Verschiedene Änderungswünsche der Kläger, insbesondere die Erstellung eines Gästezimmers und eines Arbeitsraums im Untergeschoss anstelle eines Hobby- und eines Kellerraumes, führten zu Mehrkosten, so dass sich der Kaufpreis auf Fr. 955'702.09 erhöhte, wovon die Kläger Fr. 953'326.09 anerkannten. Sie bezahlten diesen Betrag mit Ausnahme von Fr. 60'000.--, welche bei einer Bank hinterlegt wurden und mit der korrekten Verlegung der Bodenbeläge freigegeben werden sollten. A. Z._ und Y._ (Kläger) schlossen mit X._ (Beklagter) am 6. November 1997 und Nachtrag vom 18. September 1998 einen Grundstückkaufvertrag. Neben einem Grundstück für ein Einfamilienhaus samt zwei Autoeinstellplätzen erwarben die Kläger einen Miteigentumsanteil an einem gemeinschaftlichen Grundstück. Der Beklagte verpflichtete sich, das Einfamilienhaus sowie die Unterniveaugarage und die gemeinsamen Anlagen auf den Miteigentumsgrundstücken gemäss der Baubewilligung vom 13. März 1997 samt Beschrieb und Plänen zu erstellen. Der Kaufpreis war auf Fr. 796'000.-- festgesetzt. Verschiedene Änderungswünsche der Kläger, insbesondere die Erstellung eines Gästezimmers und eines Arbeitsraums im Untergeschoss anstelle eines Hobby- und eines Kellerraumes, führten zu Mehrkosten, so dass sich der Kaufpreis auf Fr. 955'702.09 erhöhte, wovon die Kläger Fr. 953'326.09 anerkannten. Sie bezahlten diesen Betrag mit Ausnahme von Fr. 60'000.--, welche bei einer Bank hinterlegt wurden und mit der korrekten Verlegung der Bodenbeläge freigegeben werden sollten. B. Nachdem die Kläger die Schallschutzeigenschaften des Gebäudes bemängelt hatten, einigten sich die Parteien, ein bauakustisches Gutachten in Auftrag zu geben. Dieses Gutachten wurde durch ein Folgegutachten ergänzt. Am 4. Dezember 2000 reichten die Kläger beim Kantonsgericht Zug Klage ein. Sie verlangten vom Beklagten insbesondere die Beseitigung mehrerer Mängel und eine Beteiligung an den Kosten für die Gutachten im Umfang von Fr. 1'440.35 entsprechend 1⁄4 der Gesamtkosten. Der Beklagte erhob Widerklage und verlangte im Wesentlichen die Herausgabe der hinterlegten Fr. 60'000.-- sowie zusätzlich Fr. 2'376.-- nebst Zins. Das Kantonsgericht hiess die Klage teilweise gut und verpflichtete den Beklagten, gewisse Mängel auf eigene Kosten zu beseitigen unter Androhung der Ersatzvornahme. Zusätzlich hatte der Beklagte Fr. 576.15 zu bezahlen. Die Widerklage wies das Kantonsgericht ab. Dieses Urteil bestätigte das Obergericht des Kantons Zug am 31. Januar 2006 auf Berufung des Beklagten und Anschlussberufung der Kläger. B. Nachdem die Kläger die Schallschutzeigenschaften des Gebäudes bemängelt hatten, einigten sich die Parteien, ein bauakustisches Gutachten in Auftrag zu geben. Dieses Gutachten wurde durch ein Folgegutachten ergänzt. Am 4. Dezember 2000 reichten die Kläger beim Kantonsgericht Zug Klage ein. Sie verlangten vom Beklagten insbesondere die Beseitigung mehrerer Mängel und eine Beteiligung an den Kosten für die Gutachten im Umfang von Fr. 1'440.35 entsprechend 1⁄4 der Gesamtkosten. Der Beklagte erhob Widerklage und verlangte im Wesentlichen die Herausgabe der hinterlegten Fr. 60'000.-- sowie zusätzlich Fr. 2'376.-- nebst Zins. Das Kantonsgericht hiess die Klage teilweise gut und verpflichtete den Beklagten, gewisse Mängel auf eigene Kosten zu beseitigen unter Androhung der Ersatzvornahme. Zusätzlich hatte der Beklagte Fr. 576.15 zu bezahlen. Die Widerklage wies das Kantonsgericht ab. Dieses Urteil bestätigte das Obergericht des Kantons Zug am 31. Januar 2006 auf Berufung des Beklagten und Anschlussberufung der Kläger. C. Der Beklagte hat gegen das Urteil des Obergerichts sowohl staatsrechtliche Beschwerde als auch eidgenössische Berufung eingelegt. Das Bundesgericht hat die staatsrechtliche Beschwerde heute abgewiesen, soweit es darauf eintrat. Mit Berufung beantragt der Beklagte im Wesentlichen, das angefochtene Urteil aufzuheben, soweit er zur Beseitigung von Mängeln verpflichtet wurde, und er hält an den Herausgabebegehren in Bezug auf die Fr. 60'000.-- fest. Die Kläger schliessen auf kostenfällige Abweisung der Berufung und Bestätigung des angefochtenen Entscheides.