Sachverhalt:
A. X._ (1952) und Z._ (1948) heirateten am xxxx 1993. Sie haben keine Kinder. Im Juni 2000 trennten sie sich. Im Rahmen des Eheschutzverfahrens wurde der Ehemann zu Unterhaltszahlungen verpflichtet. Am 22. Mai 2002 wurde über ihn der Konkurs eröffnet.
B. Am 15. Oktober 2004 reichte der Ehemann die Scheidungsklage ein. Mit Urteil vom 22./31. Dezember 2010 schied das Bezirksgericht Kreuzlingen die Ehe der Parteien. Der Ehefrau wurde kein nachehelicher Unterhalt zugesprochen. Der Ehemann wurde zu einer Zahlung aus Güterrecht von Fr. 25'915.-- verpflichtet.
Dagegen erhob der Ehemann am 2. Februar 2011 Berufung beim Obergericht des Kantons Thurgau. Auf entsprechenden Antrag wurde im Einverständnis der Ehefrau mit Verfügung vom 7. Februar 2011 die ZPO/TG als auf das Berufungsverfahren anwendbar erklärt. Mit Entscheid vom 29. März 2012 verpflichtete das Obergericht die Ehefrau zu einer Leistung aus Güterrecht von Fr. 128'973.80.
C. Gegen diesen Entscheid haben beide Parteien eine Beschwerde in Zivilsachen, die Ehefrau zusätzlich eine subsidiäre Verfassungsbeschwerde erhoben. Der Ehemann verlangt eine Zahlung aus Güterrecht von Fr. 238'043.77, die Ehefrau eine solche von Fr. 13'497.22; zusätzlich verlangen beide Parteien die Aufhebung der kantonalen Kostenregelung. Das Obergericht schliesst mit Schreiben vom 15. Februar 2013 auf Abweisung der Beschwerden. Am 20. Februar 2013 hat die Ehefrau und am 21. Februar 2013 hat der Ehemann die Vernehmlassung eingereicht, mit welcher je die Abweisung der gegnerischen Beschwerde verlangt wird, soweit darauf einzutreten sei.
Erwägungen:
1. Angefochten sind Fr. 30'000.-- übersteigende vermögensrechtliche Nebenfolgen eines kantonal letztinstanzlichen Scheidungsurteils; die im Übrigen fristgerecht eingereichte Beschwerde in Zivilsachen ist somit gegeben (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 2, Art. 90 und Art. 100 Abs. 1 BGG). Wo die Beschwerde in Zivilsachen offen steht, ist die subsidiäre Verfassungsbeschwerde - wie es schon ihr Name sagt - ausgeschlossen (vgl. Art. 113 BGG).
1.1 Beide Parteien richten sich mit ihren Beschwerden gegen den gleichen Entscheid, weshalb es sich rechtfertigt, die Beschwerdeverfahren 5A_690/2012 und 5A_694/2012 in sinngemässer Anwendung von Art. 24 BZP i.V.m. Art. 71 BGG zu vereinigen.
1.2 In rechtlicher Hinsicht sind bei der Beschwerde in Zivilsachen alle Rügen gemäss Art. 95 f. BGG zulässig und das Bundesgericht wendet in diesem Bereich das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), was heisst, dass es behauptete Rechtsverletzungen (Art. 42 Abs. 2 BGG) mit freier Kognition prüft. Für die ebenfalls unter Art. 95 lit. a BGG fallende Rüge, Verfassungsbestimmungen seien verletzt, gilt indes das strikte Rügeprinzip (Art. 106 Abs. 2 BGG). Eine Verfassungsrüge muss in der Beschwerde präzise vorgebracht und begründet werden (BGE 134 I 83 E. 3.2 S. 88). Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheides klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (BGE 135 III 232 E. 1.2 S. 234).
1.3 Sodann ist das Bundesgericht an den festgestellten Sachverhalt grundsätzlich gebunden (Art. 105 Abs. 1 BGG). Diesbezüglich kann einzig vorgebracht werden, er sei offensichtlich unrichtig festgestellt worden (Art. 97 Abs. 1 BGG), wobei "offensichtlich unrichtig" mit "willkürlich" gleichzusetzen ist (Botschaft, BBl 2001 IV 4338; BGE 133 II 249 E. 1.2.2 S. 252; 133 III 393 E. 7.1 S. 398). Hierfür gilt das strenge Rügeprinzip (Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.2 S. 255).
2. Gemäss vorinstanzlichen Feststellungen befinden sich im Eigentum der Ehefrau eine Liegenschaft in A._ (Errungenschaft) sowie eine Liegenschaft in B._ (Eigengut), wobei dem Ehemann diesbezüglich verschiedene Ersatzforderungen zugestanden, andere jedoch verneint wurden. Ferner wies das Obergericht das Wohnmobil und den Ford Focus gegen Entschädigung der Ehefrau zu. Die Forderung der Ehefrau aus Art. 165 ZGB wies es ab. Die Frage der ausstehenden Unterhaltsbeiträge hielt das Obergericht für güterrechtlich irrelevant. Auf dieser Grundlage berechnete es per Saldo einen Anspruch des Ehemannes von Fr. 128'973.78.
3. Der Ehemann beanstandet in seiner Beschwerde, dass in drei Bereichen von ihm geltend gemachte Ersatzforderungen nicht berücksichtigt wurden. Es geht um eine Ersatzforderung des Eigengutes von Fr. 20'000.-- (Zuwendung des Vaters des Beschwerdeführers, angefochtenes Urteil E. 3 lit. a/dd), um eine solche der Errungenschaft von Fr. 70'140.-- (Amortisation Liegenschaft B._, angefochtenes Urteil E. 5 lit. a) und um eine weitere Ersatzforderung der Errungenschaft von Fr. 108'000.-- (Amortisation Liegenschaft A._, angefochtenes Urteil E. 5 lit. b/cc).
3.1 Das Obergericht hat diese behaupteten Ersatzforderungen nicht berücksichtigt mit der Begründung, der Ehemann habe im Privatkonkurs nur Ansprüche auf Herausgabe des Eigengutes angegeben und seinen Vorschlagsanteil erwähnt, die vorgenannten Ersatzforderungen aber nicht deklariert, weshalb nach Treu und Glauben davon auszugehen sei, dass er darauf verzichtet habe. Im Übrigen würde auch Rechtsmissbrauch vorliegen, wenn er nunmehr güterrechtliche Forderungen gegenüber seiner Ehefrau geltend mache, die im Konkurs nicht inventarisiert worden seien.
3.2 Der Ehemann macht in diesem Zusammenhang einen Verstoss gegen Art. 2 ZGB und gegen Art. 18 OR geltend. Er bringt vor, das Obergericht habe nirgends einen ausdrücklichen Forderungsverzicht festgestellt, sondern den betreffenden Schluss aus dem Konkursprotokoll gezogen, was sich rechtlich nicht halten lasse. Im Übrigen hätten seine gegenüber dem Konkursbeamten gemachten Angaben bei der Ehefrau auch kein berechtigtes Vertrauen erwecken können, weshalb kein Rechtsmissbrauch gegeben sei, wenn er im Rahmen der güterrechtlichen Auseinandersetzung seine Ersatzforderungen geltend mache.
3.3 Die Eröffnung des Konkurses führt bei der Gütergemeinschaft von Gesetzes wegen zur Gütertrennung (Art. 188 und 236 ZGB). Für den ordentlichen Güterstand der Errungenschaftsbeteiligung bestehen keine solchen Normen. Dieser bleibt mithin von der Konkurseröffnung unberührt und es gibt als Folge im Rahmen des Konkurses keine güterrechtliche Auseinandersetzung. Weil es sich bei den Ersatzforderungen bzw. bei der Vorschlagsbeteiligung bis zum Zeitpunkt der Auseinandersetzung um blosse Anwartschaften handelt, werden sie im Konkurs nicht inventarisiert und fallen sie nicht in die Masse (vgl. HAUSHEER/REUSSER/GEISER, Berner Kommentar, N. 10 zu Art. 188 ZGB; HANDSCHIN/HUNKELER, Basler Kommentar, N. 25 zu Art. 197 SchKG). Entsprechend besteht keine Grundlage für die Annahme, eine "unterlassene" Deklaration von Anwartschaften im Konkurs sei als Verzicht in der späteren güterrechtlichen Auseinandersetzung zu werten.
Nur zur gedanklichen Vollständigkeit sei erwähnt, dass selbst die gegenteilige Auffassung zu keinem anderen Resultat führen könnte: Würden güterrechtliche Ersatzforderungen bzw. die Vorschlagsbeteiligung zur Konkursmasse gehören, wäre dem Ehemann darüber ab dem Zeitpunkt der Konkurseröffnung gemäss Art. 204 Abs. 1 SchKG die Verfügungsfähigkeit entzogen gewesen, weshalb er darauf gar nicht hätte verzichten können.
3.4 Aus dem Gesagten ergibt sich nicht zwingend, dass die geltend gemachten Ersatzforderungen bestehen. Sie sind von der Ehefrau bestritten und das Obergericht hat hierzu noch keine Beweiswürdigung vorgenommen, weshalb das Bundesgericht kein eigenes Urteil fällen kann, sondern die Sache insoweit an das Obergericht zurückzuweisen ist.
4. Die Ehefrau kritisiert, dass die aufgelaufenen Unterhaltsforderungen in der güterrechtlichen Auseinandersetzung nicht berücksichtigt worden sind (angefochtenes Urteil E. 6 c/cc).
4.1 Das Obergericht hat befunden, gemäss seiner Praxis zum Eheschutzverfahren gehöre die Frage, inwieweit der Ehemann seiner Unterhaltspflicht nachgekommen sei, ins Vollstreckungs- und nicht ins Erkenntnisverfahren. Diese Rechtsprechung müsse auch für das Scheidungsverfahren gelten.
4.2 Die Ehefrau verweist in ihrer Beschwerde zu Recht auf Art. 205 Abs. 3 ZGB. Gemäss dieser Bestimmung regeln die Ehegatten im Rahmen der güterrechtlichen Auseinandersetzung die gegenseitigen Schulden, wozu insbesondere auch die aufgelaufenen Unterhaltsansprüche gehören (Urteil 5A_803/2010 vom 3. Dezember 2010 E. 3.2.1 mit ausführlichen Hinweisen auf die übereinstimmende Literatur).
4.3 Weil das Obergericht keine Sachverhaltsfeststellungen über die Höhe der umstrittenen Ausstände gemacht hat, kann das Bundesgericht auch bezüglich der aufgelaufenen Unterhaltsschulden keine Entscheidung fällen, sondern ist die Sache hierfür zurückzuweisen.
5. Die Ehefrau kritisiert weiter, dass das Obergericht - im Unterschied zum Bezirksgericht - ihre auf Art. 165 ZGB gestützte Forderung von Fr. 145'000.-- abgewiesen hat (angefochtenes Urteil E. 7).
5.1 Das Obergericht hat befunden, dass die Ehefrau keine genügend substanziierten Behauptungen gemacht habe. Entgegen ihrer Darstellung in der Berufungsantwort seien ihre erstinstanzlichen Ausführungen keineswegs detailliert gewesen. In der Klageantwort fänden sich insgesamt acht Zeilen, wonach sie allgemeine Büroarbeiten (Entgegennahme von Telefonaten, Werbung, etc.) und die Praxiswäsche erledigt sowie Belege für die Buchhaltung gesucht und sortiert habe. Damit habe sie die vormalige Sekretärin, welche mit einem 50%-Pensum beschäftigt gewesen sei, vollständig ersetzt und zusätzlich Teile der Buchhaltung sowie die Werbung usw. übernommen. Die Duplik habe nichts Neues enthalten. Selbst wenn von einer genügenden Substanziierung ausgegangen werden müsste, wäre jedenfalls die erhebliche Mehrarbeit nicht rechtsgenüglich nachgewiesen, zumal die Ehefrau keine Kinder zu betreuen gehabt habe und keiner eigenen Erwerbsarbeit nachgegangen sei. Die von ihr angerufenen Steuererklärungen würden keine quantitativen Angaben enthalten. Auch die Aussagen ihres Bruders gegenüber der Staatsanwaltschaft seien nicht schlüssig. Weil im Summarverfahren ergangen, könne auch nicht auf die Entscheide des Kantonsgerichtes Schwyz vom 26. August 2003 und des Obergerichts des Kantons Thurgau vom 27. Juli 2009 abgestellt werden. Die Schreiben des Beschwerdeführers vom Januar 2005 und von Rechtsanwalt Y._ vom 30. Juni 2005 liessen ebenfalls keine Schlüsse auf das Quantitativ zu.
5.2 Die Ehefrau bringt vor, sie habe ihre überdurchschnittliche Mitarbeit im Geschäft des Ehemannes mit einer ganzen Reihe von Beweismitteln belegt und es sei eine Frage des Bundesrechts, ob ein aus dem Bundesrecht abgeleiteter Anspruch durch die Sachvorbringen einer Partei ausreichend substanziiert sei.
In der Tat ist die Frage der Substanziierung eine solche des Bundesrechts (vgl. BGE 123 III 183 E. 3e S. 188; 133 III 153 E. 3.3 S. 162). Indes hat das Obergericht nirgends gegenteilig festgehalten, dass sie sich aus dem kantonalen Prozessrecht ergebe; vielmehr hat es einfach befunden, der Anspruch sei zu wenig substanziiert. Dies ist nachfolgend zu erörtern.
Die Ehefrau hat ihren Anspruch beziffert und bereits im erstinstanzlichen Verfahren eine Vielzahl von Beweismitteln angeboten, zu denen sie auch Ausführungen gemacht hat; insbesondere behauptete sie, die vorher zu 50% angestellte Sekretärin vollständig ersetzt und zusätzlich Teile der Buchhaltung sowie die Werbung übernommen zu haben. Das Bezirksgericht erachtete diese Vorbringen offensichtlich als genügend substanziiert, sprach es doch der Ehefrau unter dem Titel von Art. 165 ZGB einen Betrag von Fr. 145'000.-- zu, wobei es auch eine Würdigung der Beweismittel vornahm. Das Obergericht hat diese allesamt erwähnt und in seiner subsidiären Begründung teilweise auch kursorisch gewürdigt (vgl. vorstehend E. 5.1). Insofern lässt sich nicht sagen, die Ehefrau habe ihren Anspruch ungenügend substanziiert, geht es doch bei der Substanziierung darum, dass der Gegenseite eine konkrete Bestreitung möglich ist bzw. diese den Gegenbeweis antreten kann und sich diesfalls über die behaupteten Tatsachen Beweis führen lässt (vgl. BGE 127 III 365 E. 2b S. 368). Es ist nicht zu sehen, inwiefern dies nicht möglich gewesen wäre.
5.3 Von der Substanziierung des Anspruches zu unterscheiden ist die in der subsidiären Begründung des Obergerichtes ansatzweise erfolgte Würdigung der Beweismittel, die zur Sachverhaltsfeststellung gehört (Urteil 5C.282/2005 vom 13. Januar 2006 E. 1) und die für das Bundesgericht grundsätzlich verbindlich ist (Art. 105 Abs. 1 BGG) bzw. in welcher Hinsicht einzig eine offensichtlich unrichtige und damit willkürliche Sachverhaltsfeststellung gerügt werden kann (Art. 97 Abs. 1 BGG; vgl. auch E. 1).
Die Beschwerdeführerin macht eine solche geltend und verweist diesbezüglich insbesondere auf den Entscheid des Kantonsgerichts Schwyz, wonach sie intensiv im Geschäft des Ehemannes mitgearbeitet habe, und auf den Entscheid des Obergerichts des Kantons Thurgau vom 29. Juli 2009, wonach sie bis zur Trennung voll im Betrieb mitgearbeitet habe. Weiter beruft sie sich auf den Brief des Ehemannes vom Januar 2005, wonach sie als Geschäftspartnerin dargestellt wurde, sowie auf den Brief von Rechtsanwalt Y._ vom 30. Juni 2005 an das Verhöramt C._, wonach die Ehefrau in Sachen Firmenbuchhaltung mehr als der Ehemann beigetragen habe.
All diese Dokumente sind im angefochtenen Entscheid erwähnt, aber inhaltlich nur ansatzweise gewürdigt. Insbesondere im Zusammenhang mit dem Massnahmeentscheid der Vorinstanz vom 27. Juli 2009, wonach die Ehefrau bis zur Trennung voll im Geschäft des Ehemannes mitgearbeitet habe, ergibt sich ein offensichtlicher Widerspruch zur nunmehr im Scheidungsurteil gemachten Aussage, eine erhebliche Mehrarbeit sei nicht substanziiert bzw. erwiesen. Inwiefern sich dieser Widerspruch dadurch lösen soll, dass der Massnahmeentscheid im summarischen Verfahren erging, ist nicht ersichtlich. Insgesamt ergibt sich, dass das Obergericht trotz zahlreicher Unterlagen letztlich gar keine Beweiswürdigung vorgenommen, sondern die angebotenen Beweismittel ohne wirkliche inhaltliche Prüfung beiseite geschoben hat. Dies erweist sich als willkürlich bzw. stellt eine Verletzung des rechtlichen Gehörs dar (vgl. BGE 134 V 53 E. 4.3 S. 62), zumal ohne eigentliche Sachverhaltsfeststellung auch keine Rechtsanwendung möglich ist.
5.4 Entgegen der Ansicht der Ehefrau führt die Gutheissung der Willkürrüge aber nicht automatisch zum Zuspruch der geforderten Summe. Vielmehr wird das Obergericht die Beweismittel im Einzelnen zu prüfen und aufgrund einer Beweiswürdigung erst noch festzustellen haben, in welchem Umfang es eine Mitarbeit der Ehefrau im Geschäft des Ehemannes als erwiesen erachtet.
Ausgehend von diesen noch zu treffenden Feststellungen wird sodann in rechtlicher Hinsicht zu entscheiden sein, ob die Ehefrau im Gewerbe des Ehemannes erheblich mehr mitgearbeitet hat, als ihr Beitrag an den Unterhalt der Familie im Sinn von Art. 163 ZGB verlangte, so dass ihr ein Anspruch aus Art. 165 ZGB zusteht. Dabei können verschiedene Elemente wie die vereinbarte Aufgabenteilung und die Erfüllung anderer ehelicher Lasten berücksichtigt werden, wobei dem Sachgericht ein erhebliches Ermessen zukommt (BGE 120 II 280 E. 6a S. 283; 138 III 348 E. 7.1.2 S. 351), aber stets die spezielle Konstellation des Einzelfalles zu berücksichtigen ist (vgl. etwa Urteil 5A_290/2009 vom 13. August 2009 E. 3.2, in FamPra.ch 2009 S. 1065). Soweit es um eine täglich mehrere Stunden in Anspruch nehmende Arbeit geht, die sonst von einer zu entlöhnenden Drittperson hätte erledigt werden müssen, ist in der Regel ein ausserordentlicher Beitrag im Sinn von Art. 165 ZGB anzunehmen (vgl. BGE 120 II 280 E. 6b S. 283 f., wo allerdings die Ehefrau ihren Beitrag im Sinn von Art. 163 ZGB weitgehend bereits durch die Betreuung der Kinder sowie die Haushaltführung erbracht hatte und wo ihr infolge Gütertrennung kein Anteil am Geschäftserfolg zukam). Für den Fall der Bejahung eines Anspruches wird ferner zu berücksichtigen sein, dass es nicht um einen Arbeitslohn im obligationenrechtlichen Sinn, sondern um eine angemessene Entschädigung für den ausserordentlichen Beitrag geht, wobei für die Festsetzung der Höhe weitgehend die gleichen Kriterien gelten wie für die grundsätzliche Annahme eines Anspruches (BGE 138 III 348 E. 7.1.3 S. 351).
6. Zusammenfassend ergibt sich, dass beide Beschwerden dahingehend gutzuheissen sind, dass Ziff. 4a, 5a und 5b sowie 6b und 6c des angefochtenen Entscheides aufzuheben sind und die Sache diesbezüglich zur neuen Entscheidung an das Obergericht zurückzuweisen ist.
Beide Parteien haben eine Beschwerde und zur gegnerischen Beschwerde eine Vernehmlassung eingereicht. Vor diesem Hintergrund sind die Gerichtskosten den Parteien je zur Hälfte aufzuerlegen und die Parteikosten wettzuschlagen (Art. 66 Abs. 1 sowie Art. 68 Abs. 1 und 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Verfahren Nrn. 5A_690/2012 und 5A_694/2012 werden vereinigt.
2. Die Beschwerden in Zivilsachen werden dahingehend gutgeheissen, dass Ziff. 4a, 5a und 5b sowie 6b und 6c des Entscheides des Obergerichts des Kantons Thurgau vom 29. März 2012 aufgehoben werden und die Angelegenheit diesbezüglich zur neuen Entscheidung an das Obergericht zurückgewiesen wird.
3. Den Parteien werden Gerichtskosten von je Fr. 3'000.-- auferlegt.
4. Die Parteikosten werden wettgeschlagen.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 26. März 2013
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Möckli