Sachverhalt: A. X._ (geb. 1968) und Y._ (geb. 1970) heirateten am 4. August 1995 in A._. Aus ihrer Ehe gingen die Kinder B._ (geb. 1996) und C._ (geb. 1999) hervor. Im Jahr 2006 trennten sich die Parteien. X._ wurde im damaligen Eheschutzverfahren verpflichtet, monatliche Unterhaltsbeiträge von Fr. 750.-- pro Kind und von Fr. 1'400.-- für Y._ zu bezahlen. B. Am 23. September 2010 leitete X._ beim Richteramt D._ das Scheidungsverfahren ein. Ein in diesem Verfahren eingereichtes Gesuch um Abänderung der Unterhaltsbeiträge wies der zuständige Richter ab. Durch Scheidungsurteil vom 1. Februar 2012 stellte der Amtsgerichtspräsident des Richteramts D._ die beiden Kinder unter die elterliche Sorge der Mutter, die Kinderunterhaltsbeiträge setzte er auf Fr. 750.-- fest. Er nahm Kenntnis, dass die im hälftigen Miteigentum befindliche vormals eheliche Liegenschaft der Parteien von X._ zu Alleineigentum übernommen werde. Die hierfür von X._ geschuldete güterrechtliche Ausgleichszahlung setzte er auf Fr. 124'384.70 zuzüglich Zins fest, wobei ein Betrag von Fr. 20'000.-- bis Ende April 2012, der Restbetrag in monatlich Raten von Fr. 800.-- ab Mai 2012 auszurichten sei. Weiter hielt der Richter dafür, dass X._ aufgrund der Ratenzahlungen aus Güterrecht keinen nachehelichen Unterhalt an die Ehefrau bezahlen könne. Auf der Seite der Ehefrau stellte er eine Unterdeckung von Fr. 1'300.-- pro Monat fest. C. Gegen dieses Urteil erhoben beide Parteien Berufung an das Obergericht des Kantons Solothurn. Y._ beantragte die Zusprechung eines bis November 2015 befristeten Unterhaltsbeitrages an sie selbst von Fr. 850.-- unter Aufschiebung der Ratenzahlungen aus Güterrecht bis nach dem Wegfall der Unterhaltspflicht. X._ verlangte eine Reduktion der Ausgleichszahlung auf Fr. 35'384.70, eventualiter auf Fr. 69'884.70. Mit Urteil vom 4. Dezember 2012 hiess das Obergericht die Berufung von Y._ in der Hauptsache gut. Die Berufung von X._ wies es ab, soweit darauf eingetreten wurde. Die umstrittenen Ziffern des Scheidungsurteils vom 1. Februar 2012 formulierte das Obergericht neu wie folgt: 6. X._ hat der Ehefrau einen monatlich vorauszahlbaren Unterhaltsbeitrag von Fr. 835.-- zu bezahlen. Die Unterhaltsbeitragspflicht dauert bis 30. November 2015. 7. Es wird festgestellt, dass die Ehefrau eine Unterdeckung von Fr. 491.-- aufweist. 9. b) Der Ehemann hat der Ehefrau eine güterrechtliche Ausgleichszahlung von Fr. 124'384.70, zuzüglich Zins zu 5% ab Fälligkeit (Rechtskraft des Urteils), zu leisten, wobei er den Betrag von Fr. 20'000.-- bis Ende Januar 2013 zu bezahlen hat. Den verbleibenden Restbetrag der Schuld hat der Ehemann in aufeinanderfolgenden monatlichen Raten von Fr. 800.--, erstmals auf den 1. Dezember 2015 auszurichten. Ab Wegfall der Unterhaltsverpflichtung gegenüber den Kindern bei Erreichen von deren wirtschaftlichen Selbständigkeit erhöhen sich die Ratenzahlungen um den Betrag der weggefallenen Unterhaltszahlungen. Die Ehefrau hat das Recht, ihre Güterrechtsforderung gegenüber dem Ehemann zufolge des Zahlungsaufschubs zulasten des GB A._ Nr. xxxx zu ihren Gunsten grundpfandrechtlich sicherzustellen und eine Grundpfandverschreibung zu errichten. D. Mit Postaufgabe vom 28. Januar 2013 hat X._ (Beschwerdeführer) Beschwerde an das Bundesgericht erhoben. Er beantragt, die Unterhaltsverpflichtung gegenüber Y._ (Beschwerdegegnerin) sei aufzuheben und diesbezüglich das erstinstanzliche Urteil zu bestätigen. Ziffer 9 lit. b Absatz 1 des Scheidungsurteils sei dahin gehend zu ändern, dass er der Beschwerdegegnerin eine güterrechtliche Ausgleichszahlung von Fr. 45'384.70, eventualiter von Fr. 79'384.70 leiste, wobei er den Betrag von Fr. 20'000.-- bis Ende Januar 2013 bezahle und den verbleibenden Restbetrag ab Rechtskraft des Urteils in monatlichen Raten von Fr. 800.--; bisherige Zahlungen seien anzurechnen. Weiter sei seiner Beschwerde für die Zahlung der Fr. 20'000.-- die aufschiebende Wirkung zu erteilen. Für das bundesgerichtliche Verfahren ersucht er um unentgeltliche Rechtspflege und um Einsetzung seines Anwalts als unentgeltlichen Rechtsbeistand. Die Beschwerdegegnerin hat mit Vernehmlassung vom 30. Januar 2013 auf Abweisung des Gesuchs um aufschiebende Wirkung geschlossen. Sie beantragt ihrerseits die unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren. Die Vorinstanz verzichtete auf eine Stellungnahme zur aufschiebenden Wirkung. E. Mit Verfügung vom 5. Februar 2013 hat der Präsident der II. zivilrechtlichen Abteilung des Bundesgerichts der Beschwerde für die Anzahlung von Fr. 20'000.-- die aufschiebende Wirkung gewährt. In der Sache selbst hat das Bundesgericht keine Vernehmlassungen eingeholt.