Sachverhalt:
A. Y._ (Ehefrau), und X._ (Ehemann) heirateten am 13. Juli 1996 in Zürich. Sie sind schweizerische und kambodschanische Staatsangehörige. Sie haben die gemeinsamen Kinder A._, geb. 1996, und B._, geb. 2000.
B. Am 4. Februar 2004 reichte die Ehefrau die Scheidungsklage ein. Mit Urteil vom 8. April 2010 schied das Bezirksgericht Lenzburg die Ehe und erliess, soweit hier interessierend, folgende Nebenfolgenregelung: Zuteilung der Kinder an die Ehefrau, unter Verzicht einer Besuchsregelung; Kinderalimente von je Fr. 330.--, zzgl. allfällige Kinderzulagen (ausgehend von einem Einkommen der Ehefrau von Fr. 4'500.-- und des Ehemannes von Fr. 3'000.--); Verpflichtung der Ehefrau zu einer güterrechtlichen Leistung von Fr. 111'482.75, unter Anrechnung von Fr. 8'400.90 aus der Säule 3a; Feststellung, dass der Ehemann der Ehefrau für die Finanzierung seines Anteils an der einfachen Gesellschaft bezüglich eheliche Liegenschaft Fr. 30'000.-- schuldet; Verpflichtung des Ehemannes zur Rückzahlung von Prozesskostenvorschüssen im Umfang von Fr. 12'500.--.
Auf Appellation und Anschlussappellation hin, womit seitens der Ehefrau Kinderalimente von je Fr. 500.-- sowie die Festsetzung des güterrechtlichen Anspruches auf Fr. 30'668.35 und seitens des Ehemannes das Absehen von Kinderalimenten (angesichts eines eigenen Einkommens von Fr. 1'800.--) und von der Rückerstattung der Prozesskostenvorschüsse sowie eine güterrechtliche Leistung von Fr. 242'908.-- verlangt wurde, erhöhte das Obergericht das Kantons Aargau mit Urteil vom 23. Dezember 2010 die Kinderalimente auf je Fr. 500.-- (zzgl. allfälliger Kinderzulagen) und setzte die güterrechtliche Leistung an den Ehemann auf Fr. 69'643.20 fest; im Übrigen wies es Appellation und Anschlussappellation ab.
C. Gegen dieses Urteil hat der Ehemann am 7. März 2011 eine Beschwerde in Zivilsachen eingereicht. Er verlangt, dass von Kinderalimenten (angesichts seines Einkommens von Fr. 200.--) und von der Verpflichtung zur Rückerstattung der Prozesskostenvorschüsse abgesehen und die güterrechtliche Leistung auf Fr. 108'147.45 festgesetzt wird; ausserdem verlangt er die unentgeltliche Rechtspflege. Mit Präsidialverfügung vom 5. April 2011 wurde das Gesuch um aufschiebende Wirkung abgewiesen. Mit Schreiben vom 9. Mai 2011 verzichtete das Obergericht auf eine Stellungnahme. Mit Verfügung vom 12. Mai 2011 wurde der Beschwerdegegnerin die unentgeltliche Rechtspflege erteilt. Mit Vernehmlassung vom 27. Mai 2011 verlangte die Beschwerdegegnerin die Abweisung der Beschwerde, soweit darauf einzutreten sei. Gegen die betreffenden Ausführungen reichte der Beschwerdeführer am 29. Mai 2011 eine Replik ein. Die Beschwerdeführerin verzichtete mit Schreiben vom 1. Juni 2011, dazu Stellung zu nehmen, und beantragte, dass die Replik unbeachtlich sei.

Erwägungen:
1. Angefochten sind die Fr. 30'000.-- übersteigenden vermögensrechtlichen Nebenfolgen eines kantonal letztinstanzlichen Scheidungsurteils, wogegen die Beschwerde in Zivilsachen offen steht (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 1 und Art. 90 BGG).
2. Mit Bezug auf die Kinderalimente ist das hypothetische Einkommen des Beschwerdeführers umstritten.
2.1 Das Obergericht hat mit Bezug auf das vom Beschwerdeführer erzielbare Einkommen erwogen, dieser sei aktuell 45 Jahre alt und gesund. Bei der Stellensuche wirke sich die Vorstrafe zwar erschwerend aus; hingegen seien die von ihm geltend gemachten fehlenden Deutschkenntnisse nicht aktenkundig oder durch ihn selbst begründet. Sodann sei unbeachtlich, dass er nach Aufhebung des gemeinsamen Haushaltes den Wohnsitz in sein Ursprungsland verlegt habe, denn eine damit verbundene Einbusse sei unerheblich, wenn es ihm weiterhin zumutbar wäre, in der Schweiz einer Erwerbsarbeit nachzugehen. Vor der Auswanderung habe er unbestrittenermassen bei McDonalds gearbeitet und rund Fr. 1'800.-- pro Monat verdient. Früher habe er als Hilfsarbeiter bei der Firma Schmid Telecom gearbeitet und Fr. 4'500.-- brutto verdient, und er habe auch bei anderen Anstellungen Berufserfahrung sammeln können. Unter Berücksichtigung der erschwerenden Momente (Alter, Vorstrafe, fehlende Ausbildung, längere Teilzeitarbeit) könne nur ein hypothetischer Mindestlohn angerechnet werden, der in Anlehnung an die Tabelle für orts- und berufsübliche Mindestlöhne 2008 und das Lohnbuch 2010 auf Fr. 3'500.-- festzulegen sei. Angesichts seines Existenzminimums von Fr. 2'325.-- sei er demnach in der Lage, Unterhaltsbeiträge von Fr. 500.-- pro Kind zu leisten.
2.2 Der Beschwerdeführer rügt eine Verletzung von Art. 145 aZGB sowie der persönlichen Freiheit und der Bewegungsfreiheit (<ref-law>), des Rechts auf Achtung des Privat- und Familienlebens (Art. 8 EMRK) und des rechtlichen Gehörs (<ref-law>). Er macht geltend, nach Kambodscha ausgewandert zu sein, wo das Durchschnittseinkommen Fr. 200.-- betrage. Er lebe dort in einfachen Verhältnissen mit der Familie seiner neuen Ehefrau und werde bald auch Kinder haben. Obwohl er all diese Elemente in seinem Parteivortrag erwähnt habe, fänden sich im angefochtenen Urteil keine entsprechenden Sachverhaltsfeststellungen, sondern einzig der Vorhalt, als schweizerischer Staatsangehöriger sei es ihm zumutbar, in der Schweiz zu arbeiten.
2.3 Mit Bezug auf Kinderbelange hat das Gericht den Sachverhalt gemäss Art. 145 Abs. 1 aZGB von Amtes wegen zu erforschen. Die uneingeschränkte Untersuchungsmaxime gilt auch für die Rechtsmittelinstanz, weshalb - über die Vorgaben von Art. 138 Abs. 1 aZGB hinaus - neue rechtserhebliche Tatsachen berücksichtigt werden müssen (SCHWEIGHAUSER, in: FamKomm Scheidung, Bern 2005, N. 3 zu Art. 145 aZGB m.w.H.).
Vorliegend hat das Obergericht berücksichtigt, dass der Beschwerdeführer "nach Aufhebung des gemeinsamen Haushaltes seinen Wohnsitz in sein Ursprungsland verlegte" (vgl. E. 3.2.2), ihm jedoch die Aufnahme einer Erwerbstätigkeit in der Schweiz zugemutet (vgl. E. 3.2.3), dafür aber auch ein Existenzminimum nach schweizerischen Verhältnissen angerechnet (vgl. E. 3.2.4). Was die Verpflichtung zur Erwerbsarbeit in der Schweiz anbelangt, bleibt im angefochtenen Urteil unerwähnt, dass der Beschwerdeführer anlässlich der oberinstanzlichen Verhandlung nicht nur auf den Wegzug nach Kambodscha, sondern auch auf seine dortige Wiederverheiratung hingewiesen hat, wobei freilich nur der Wegzug, nicht auch die Wiederverheiratung belegt wurde.
Die Vorbringen des Beschwerdeführers sind von augenfälliger Wichtigkeit für den Unterhaltsentscheid: Zwar trifft die Eltern eine Pflicht zu besonderer Anstrengung, um ihren unterhaltsrechtlichen Verpflichtungen nachkommen zu können (vgl. zur Publikation bestimmtes Urteil 5A_311/2010 vom 3. Februar 2011 E. 3.1); dass sie sich in beruflicher und unter Umständen auch in örtlicher Hinsicht entsprechend ausrichten müssen, um ihre Arbeitskapazität maximal auszuschöpfen, ist damit notwendigerweise verbunden und beschränkt die Bewegungsfreiheit nicht per se, jedenfalls soweit ihnen nicht eigentliche Residenzpflichten auferlegt werden. Indes muss sich ein Unterhaltsentscheid auch an faktischen Begebenheiten orientieren; es kann nicht gewissermassen im luftleeren Raum eine Annahme getroffen und die Umsetzung dem Unterhaltspflichtigen überbunden werden. Für den vorliegenden Fall heisst dies: Träfen die Vorbringen des Beschwerdeführers zu, würde sich eine Rückkehr in die Schweiz nicht nur vom Grundsatz her in einem neuen Licht präsentieren, sondern wäre bei einer Rückkehr offensichtlich auch das Existenzminimum höher, wenn ihm seine neue Ehefrau folgen würde. Indem sich das Obergericht zu all diesen Elementen gar nicht erst äussert, hat es nicht nur seine Untersuchungspflichten im Sinn von Art. 145 Abs. 1 aZGB, sondern insbesondere auch das in <ref-law> verbürgte rechtliche Gehör des Beschwerdeführers verletzt.
Zur Gehörsverletzung gesellt sich ein zweites: Das angefochtene Urteil enthält keine eigene Sachverhaltsdarstellung, wie sie wegen der Sachverhaltsbindung für das Bundesgericht gemäss <ref-law> unabdingbar ist und deshalb für kantonal letztinstanzliche Entscheide von Bundesrechts wegen auch vorgeschrieben wird (vgl. <ref-law>). Zwar ergeben sich aus den rechtlichen Erwägungen indirekt verschiedene dort eingewobene Sachverhaltselemente. Diese sind jedoch bruchstück- und in entscheidrelevanten Bezügen lückenhaft: So ist namentlich nicht bekannt, wann und unter welchen Umständen der Beschwerdeführer nach Kambodscha zog - einerseits ist davon die Rede, dass er dies nach der Trennung von der Beschwerdegegnerin getan hat, was auf einen länger zurückliegenden Zeitpunkt deutet, andererseits scheint die Rückkehr erst im oberinstanzlichen Verfahren Thema geworden zu sein -, obwohl der Zeitpunkt, aber auch die näheren Umstände des Wegzuges des Beschwerdeführers nach Kambodscha für die Beurteilung der (von einer zumutbaren Rückkehr abhängigen) finanziellen Leistungsfähigkeit zentral ist. Dem Bundesgericht wäre es deshalb gar nicht möglich, die sich vorliegend stellenden Rechtsfragen adäquat zu beantworten. Vor diesem Hintergrund ist die Sache nicht nur wegen der Verletzung des rechtlichen Gehörs des Beschwerdeführers, sondern insbesondere auch gestützt auf <ref-law> zur bundesrechtskonformen Feststellung des rechtserheblichen Sachverhaltes an das Obergericht zurückzuweisen.
3. Zwischen den Parteien sind sodann güterrechtliche Punkte strittig. Diesbezüglich enthält der angefochtene Entscheid genügend Sachverhaltselemente, so dass ein direkter Sachentscheid möglich ist.
3.1 Dass das Konto 270-819827.40E mit Fr. 3'335.30 Eigengut der Beschwerdegegnerin bildet, wird vor Bundesgericht anerkannt und ist im Folgenden nicht mehr zu erörtern. Umstritten bleibt hingegen, ob bei der Klägerin beim Depot 270-818727.S1 ein Betrag von Fr. 80'344.-- zu Eigengut auszuscheiden sei.
Das Obergericht hat diesbezüglich erwogen, die Parteien hätten am 13. Juli 1996 geheiratet und die Beschwerdegegnerin lege für den Vortag eine Vermögensaufstellung ihrer Konti ins Recht, welche einen Stand von Fr. 161'629.05 ausweise. Das immer noch bestehende und in der güterrechtlichen Auseinandersetzung mit Fr. 170'286.-- zu berücksichtigende Depot 270-819827.S1 habe damals einen Betrag von Fr. 80'344.-- aufgewiesen; hierfür sei der Beweis als Eigengut erbracht und entsprechend vermindere sich der erstinstanzlich errechnete Vorschlag der Beschwerdegegnerin.
Was der Beschwerdeführer dagegen vorbringt, verhält nicht. Soweit er den Vorwurf erhebt, die Beschwerdegegnerin habe mit Unterlagen zurückgehalten, zeigt er nicht auf, was er daraus für seinen Standpunkt ableiten will. Sodann kann sich keine Willkür ergeben aus dem Umstand, dass offenbar für den Stichtag der güterrechtlichen Auflösung vom 7. Juli 2003 kein Ausweis über das Depotvermögen vorhanden ist, denn die erste Instanz hat auf die vorangehenden und nachfolgenden Jahresabschlüsse abgestellt und das Obergericht traf die als solche nicht gerügte Feststellung, der relevante Depotbetrag sei durch die erste Instanz unbestritten mit Fr. 170'286.-- berechnet worden. Schliesslich bringt der Beschwerdeführer vor, sein rechtliches Gehör oder die Dispositionsmaxime seien verletzt; von den Konten der Beschwerdegegnerin seien nämlich Fr. 161'552.-- abgeflossen und seine Behauptung, dass es sich dabei um das geltend gemachte Eigengut gehandelt habe, sei unbestritten geblieben, weshalb das Obergericht eine entsprechende Anerkennung hätte feststellen müssen. Die Beschwerdegegnerin hat indes die betreffenden Behauptungen auf S. 4 ihrer Anschlussappellation sehr wohl bestritten, weshalb die normalen Vermutungen und Beweisregeln zum Tragen kamen, wonach Vermögenszu- und -abgänge vermutungsweise in die Errungenschaft fallen bzw. diese belastet (vgl. <ref-law>). Wer anderes behauptet, ist dafür beweispflichtig und den betreffenden Beweis blieb der Beschwerdeführer schuldig.
3.2 Umstritten ist sodann die Behandlung der gemeinsamen Liegenschaft. Der Kaufpreis von Fr. 500'000.-- wurde mit Fr. 440'000.-- fremdfinanziert, die restlichen Fr. 60'000.-- wurden von der Beschwerdegegnerin bezahlt. Beide kantonalen Gerichte sind von einer einfachen Gesellschaft ausgegangen und haben befunden, die Beschwerdeführerin habe durch Aufbringen des gesamten Eigenkapitals im Umfang von Fr. 30'000.-- eine Mehrleistung erbracht, die nach <ref-law> rückerstattungspflichtig sei; diesbezüglich sei nämlich keine Schenkung zu vermuten, sondern müsse vielmehr ein Darlehen angenommen werden.
Der Beschwerdeführer rügt eine willkürliche Sachverhaltsfeststellung und eine Verletzung der Dispositionsmaxime sowie eine Verletzung des rechtlichen Gehörs. Die Beschwerdeführerin habe nie behauptet, ihm ein Darlehen gewährt zu haben, und das Obergericht habe folglich etwas angenommen, was gar nicht existiere.
Diese Ausführungen gehen an der Sache vorbei: Es ist eine unbestrittene Tatsache, dass die Beschwerdegegnerin das gesamte Eigenkapital aufgebracht hat. Dieses Faktum ist rechtlich einzuordnen, wobei eine Schenkung oder ein Darlehen in Frage kommen. Das Obergericht hat unter Hinweis auf die einschlägige Literatur (HAUSHEER/REUSSER/ GEISER, Berner Kommentar, Vorbem. vor Art. 221 N. 49 ff., insb. N. 51) zutreffend erwogen, dass eine Schenkung nicht zu vermuten sei. Dementsprechend hatte im vorliegenden Fall nicht die Beschwerdegegnerin das Darlehen zu behaupten und zu beweisen, sondern der Beschwerdeführer die Schenkung. Eine solche wurde aber nicht behauptet und noch viel weniger bewiesen. Wird der Schenkungsnachweis nicht erbracht, so steht dem anderen Teil eine Ersatzforderung gemäss <ref-law> zu (HAUSHEER/REUSSER/GEISER, a.a.O., N. 52).
3.3 Nach dem Gesagten ist die Beschwerde mit Bezug auf das Güterrecht abzuweisen, soweit darauf eingetreten werden kann.
4. Zwischen den Parteien ist schliesslich strittig, ob der Beschwerdeführer der Beschwerdegegnerin zwei Prozesskostenvorschüsse von insgesamt Fr. 12'500.-- zurückzuerstatten hat.
4.1 Das Obergericht hat befunden, begrifflich handle es sich um vorläufige Leistungen. Die Anordnung der Rückerstattung im Scheidungsurteil sei jedenfalls dann angezeigt, wenn der Empfänger durch das materielle Urteil die erforderlichen finanziellen Mittel dazu erhalte, was vorliegend mit der ungebundenen güterrechtlichen Leistung der Fall sei.
4.2 Der Beschwerdeführer macht geltend, bei Prozesskostenvorschüssen handle es sich um Unterhaltskosten, d.h. um Familienunterhalt, und nicht um ein Darlehen oder um einen güterrechtlich auszugleichenden Vorschuss. Familienunterhalt sei aber nie zurückzuzahlen, andernfalls ja auch Unterhaltszahlungen bei Erhalt güterrechtlicher Mittel zurückzuzahlen wären. Die Rückerstattungsanordnung verstosse deshalb gegen Art. 137 und 163 ZGB.
4.3 Der Beschwerdeführer verkennt, dass Kostenvorschüsse nichts mit dem (typischerweise nicht rückzahlbaren) Verbrauchsunterhalt zu tun haben und insbesondere zwischen der Pflicht zur Leistung des Vorschusses und derjenigen zur Rückerstattung zu unterscheiden ist:
Die Pflicht zur Leistung von Prozesskostenvorschüssen in familienrechtlichen Verfahren gründet je nach Lehrmeinung auf <ref-law> (BRÄM/HASENBÖHLER, Zürcher Kommentar, N. 130 ff. zu <ref-law>; BÜHLER/SPÜHLER, Berner Kommentar, N. 260 zu <ref-law>) oder auf <ref-law> (nunmehr SPÜHLER/FREI-MAURER, Berner Kommentar, N. 260 zu <ref-law>; HAUSHEER/REUSSER/GEISER, a.a.O., N. 15 zu <ref-law>); die neuere Rechtsprechung äussert sich nicht abschliessend zur Rechtsgrundlage (vgl. Urteile 5P.346/2005 vom 15. November 2005 E. 4.3; 5A_826/2008 vom 5. Juni 2009 E. 2.1), wobei diese Frage mit Bezug auf die Rückerstattung auch nicht von Belang ist. So oder anders geht im Übrigen der betreffende Anspruch demjenigen gegenüber dem Staat auf unentgeltliche Rechtspflege vor (<ref-ruling> E. 3a S. 12; <ref-ruling> E. 3b S. 205). Zwecksetzung ist indes die gleiche: Dem Vorschussempfänger, der selbst nicht über die nötigen Mittel verfügt, soll die Wahrnehmung seiner Interessen vor Gericht ermöglicht werden (Urteil 5A_826/2008 vom 5. Juni 2009 E. 2.1); wie bei der unentgeltlichen Rechtspflege geht es mithin um die Herstellung der prozessualen Waffengleichheit zwischen den Parteien (dazu <ref-ruling> E. 1 S. 219 oben).
Während die vorstehend beschriebene Pflicht zur Bevorschussung auf Bundesrecht gründet, richtet sich die definitive Kostentragung nach den einschlägigen Bestimmungen der Zivilprozessordnung; diese kennt eigene Verteilungsregeln, die in keinem Zusammenhang mit der Bevorschussung durch den Ehegatten stehen (HAUSHEER/REUSSER/ GEISER, a.a.O., N. 15 zu <ref-law>). Werden im betreffenden Entscheid die Kosten ganz oder teilweise dem Vorschussempfänger auferlegt (was bei gegebener Leistungsfähigkeit, z.B. aufgrund güterrechtlicher Zahlungen, die Regel bilden mag), wird dieser gegenüber dem seinerzeitigen Erbringer des Vorschusses rückerstattungspflichtig (BÜHLER/SPÜHLER, a.a.O., N. 300 zu <ref-law>; BRÄM/HASENBÖHLER, a.a.O., N. 135 zu <ref-law>).
4.4 Nach dem Gesagten ist die Beschwerde auch mit Bezug auf die Rückerstattung der Prozesskostenvorschüsse abzuweisen.
5. Angesichts des vorstehenden Resultates rechtfertigt es sich, die Gerichtskosten den Parteien hälftig aufzuerlegen (<ref-law>), wobei sie einstweilen auf die Bundesgerichtskasse zu nehmen sind, weil wie bereits der Beschwerdegegnerin auch dem Beschwerdeführer infolge Prozessarmut die unentgeltliche Rechtspflege zu gewähren ist (<ref-law>), unter Verbeiständung durch die ihn vertretende Rechtsanwältin (<ref-law>). Beide Rechtsvertreter sind aus der Bundesgerichtskasse zu entschädigen.

Demnach erkennt das Bundesgericht:
1. Mit Bezug auf den Kinderunterhalt wird das Urteil des Obergerichts des Kantons Aargau vom 23. Dezember 2010 aufgehoben und die Sache zur Feststellung des rechtserheblichen Sachverhaltes und neuen Entscheidung an das Obergericht zurückgewiesen. Im Übrigen wird die Beschwerde in Zivilsachen abgewiesen, soweit darauf einzutreten ist.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt, unter Verbeiständung durch die ihn vertretende Rechtsanwältin.
3. Die Gerichtskosten von Fr. 2'000.-- werden den Parteien je zur Hälfte auferlegt, jedoch einstweilen auf die Bundesgerichtskasse genommen.
4. Die Rechtsvertreter beider Parteien werden für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit je Fr. 2'000.-- entschädigt.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 9. Juni 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Möckli