Sachverhalt: A. C._ (Kläger) liess in den Jahren 1987/88 auf seinem Grundstück in X._ ein Gewerbehaus erstellen. Das Ingenieurbüro A._ AG (Beklagte 1) führte die Ingenieurarbeiten aus. Die Architektur- und Planungsarbeiten wurden der B._ AG (Beklagte 2) übertragen. Als Berater des Klägers wirkte Architekt D._ mit. Ursprünglich war für den Neubau eine Stahlhallenkonstruktion vorgesehen. Dafür bestand bereits eine Baubewilligung. Der Kläger entschied sich jedoch in der Folge für eine Massivbauweise und Flachfundation. Im Herbst 1988 konnte der Bau bezogen werden. Nach Darstellung des Klägers bildeten sich kurz darauf in den Fassaden Risse, die sich in der Folge vergrössert und vermehrt hätten. Nach erfolglosen Verhandlungen einigten sich die Parteien darauf, gemeinsam den Bauingenieur E._ mit einem Gutachten zur Klärung der Ursachen der aufgetretenen Rissschäden, der Sanierungsart und der Behebungskosten zu beauftragen. Dieser erstattete sein Gutachten am 31. Oktober 1990. Die Beklagten waren mit den darin vertretenen Auffassungen nicht einverstanden. B. Mit Klage vom 11. März 1992 und später modifiziertem Rechtsbegehren beantragte der Kläger dem Handelsgericht des Kantons St. Gallen, die Beklagten seien unter solidarischer Haftbarkeit zur Bezahlung von Fr. 1'868'600.-- zuzüglich Zins zu 5 % seit 11. März 1992 zu verpflichten. Das Handelsgericht holte im Jahre 1994 ein Gutachten der Professoren F._ und G._ zur Frage der Schlüssigkeit des Gutachtens E._ ein. Die Gutachter kamen in ihrem Bericht vom 4. Mai 1995 und Ergänzungsbericht vom 1. Februar 1996 zum Ergebnis, dass sich das Schiedsgutachten E._ als offensichtlich unrichtig erweise und dass die dort vorgeschlagene Sanierungslösung weder technisch zwingend noch wirtschaftlich vertretbar sei, weil das Gutachten von falschen Voraussetzungen ausgehe; die Risse gingen zu einem wesentlichen Teil auf die unkonventionelle Struktur des Gebäudes zurück. Mit Teilentscheid vom 27. März 1998 stellte das Handelsgericht fest, dass das Schiedsgutachten E._ rechtlich nicht verbindlich sei. Am 4. März 2002 bestimmte das Gericht den Bauingenieur H._ zum Gerichtsgutachter, der seine Expertise am 6. Dezember 2002 ablieferte. Nach dessen Feststellungen führten verschiedene Ursachen zum heutigen Schadensbild, namentlich Deckendurchbiegungen, statische und konstruktive Mängel in den Aussenwandkonstruktionen sowie im Unterlagsboden, Schwind- und Temperatureinwirkungen auf Aussenwände und Unterlagsboden sowie Setzungen der Bodenplatte, insbesondere des Bodenplattenrandes. Das Handelsgericht verpflichtete die Beklagten 1 und 2 mit Urteil vom 2. Dezember 2003, dem Kläger unter solidarischer Haftbarkeit den Betrag von Fr. 715'050.-- nebst Zins zu 5 % seit 11. März 1992 zu bezahlen. Es kam aufgrund der Expertise H._ zum Schluss, dass von Sorgfaltspflichtverletzungen beider Beklagten auszugehen sei; diese hätten die eingetretenen Baumängel in erheblichem Masse zu verantworten. Sie hafteten solidarisch für den eingetretenen Schaden, der insgesamt auf Fr. 814'000.-- zu beziffern sei. Davon seien Honoraransprüche der Beklagten von Fr. 19'500.-- abzuziehen, was einen Forderungsbetrag von Fr. 794'500.-- ergebe. Diesen Betrag reduzierte das Gericht um 10 % auf den zugesprochenen Betrag von Fr. 715'050.--, da den Kläger ein leichtes Selbstverschulden am Schaden treffe. Dieser Betrag sei ab 11. März 1992 zu 5 % zu verzinsen, da die Beklagten gegenüber dem Kläger hinsichtlich ihrer vertraglichen Leistungen in Verzug seien. C. Die Beklagten beantragen je mit eidgenössischer Berufung vom 26. Februar 2004 bzw. vom 8. März 2004, das Urteil des Handelsgerichts aufzuheben, soweit die Beklagte 2 verpflichtet worden sei, den dem Kläger zugesprochenen Betrag seit 11. März 1992 zu verzinsen bzw. soweit die dem Kläger zugesprochene Forderung von der Beklagten 1 früher als ab 4. Februar 2004 (Zustellung des begründeten Handelsgerichtsurteils) zu verzinsen sei. Der Kläger beantragt die Abweisung von beiden Berufungen und führt Anschlussberufung mit dem Antrag, das Urteil des Handelsgerichts dahingehend abzuändern, dass die Beklagten und Berufungsklägerinnen unter solidarischer Haftbarkeit verpflichtet werden, dem Kläger den Betrag von Fr. 794'500.-- nebst Zins zu 5 % seit 11. März 1992 zu bezahlen. Die Beklagten schliessen je auf Abweisung der Anschlussberufung.