Sachverhalt: A. X._ (Jahrgang 1965) und Y._ (Jahrgang 1964) heirateten am 14. September 1990. Der Ehe entsprossen vier Kinder: A._ (geb. 1991), B._ (geb. 1993), C._ (geb. 1997) sowie D._ (geb. 1999). Mit Urteil vom 2. November 2005 schied das Bezirksgericht Arbon die Ehe und übertrug die elterliche Sorge für die Kinder A._, C._ und D._ der Mutter. B._ stellte es unter die elterliche Sorge des Vaters, entzog diesem aber die Obhut; B._ wohnt seither bei den Grosseltern väterlicherseits. Ausserdem wurde X._ verpflichtet, für die unter der Obhut der Mutter lebenden Kinder (bis zu deren Mündigkeit) Unterhalt von je Fr. 400.-- zu bezahlen, zuzüglich sämtlicher Kinderzulagen (damals insgesamt Fr. 1'100.--). Gemäss gerichtlich genehmigter Scheidungskonvention konnte für die Ehefrau kein Unterhaltsbeitrag festgesetzt werden. Im Sinne von Art. 129 Abs. 3 ZGB wurde festgehalten, dass der Ehefrau für sich und die drei Kinder aktuell Fr. 2'700.-- im Monat zur Deckung des gebührenden Unterhalts fehlten. Die Unterhaltsregelung basierte auf einem Monatseinkommen von X._ von Fr. 5'050.-- (einschliesslich 13. Monatslohn) und einem solchen von Y._ von Fr. 1'100.-- (bestehend aus vier Kinderzulagen) sowie aus einem Gesamtbedarf von Fr. 7'800.-- (X._ Fr. 3'800.-- und Y._ Fr. 4'000.--). Das Scheidungsurteil erwuchs unangefochten in Rechtskraft. Nach Verlust seiner bisherigen Arbeitsstelle (sowie zweier weiterer Stellen von kurzer Dauer) und Antritt einer schlechter bezahlten neuen Stelle klagte X._ am 29. Januar 2009 beim Bezirksgericht Arbon auf Abänderung des Scheidungsurteils. Er verlangte eine angemessene Herabsetzung der Kinderunterhaltsbeiträge. Des weiteren sei er dazu zu verpflichten, Y._ nur noch drei (anstatt alle vier) Kinderzulagen überweisen zu müssen. Schliesslich sei ihm zu gestatten, die im Januar 2009 von Y._ doppelt bezogenen Kinderzulagen von Fr. 650.-- bei künftigen Unterhaltszahlungen in Abzug zu bringen. Mit Urteil vom 22. Juni 2009 hiess das Bezirksgericht die Klage teilweise gut und änderte das Scheidungsurteil, soweit vorliegend relevant, mit Wirkung ab 1. Februar 2009 insofern ab, als X._ neu verpflichtet wurde, an den Unterhalt von A._, C._ und D._ monatlich je Fr. 330.-- zu bezahlen (zuzüglich allfällig bezogener Kinderzulagen). Zusätzlich wurde er verpflichtet, eine allfällig bezogene Gratifikation, einen 13. Monatslohn oder dergleichen in vollem Umfang Y._ für den Unterhalt der unter ihrer elterlichen Sorge stehenden Kinder zukommen zu lassen. Sodann wurde von der Anerkennung von Y._ Vormerk genommen, dass sie die Kinder- und Ausbildungszulagen von Fr. 650.-- im Januar 2009 doppelt erhalten habe und X._ diesen Betrag daher bei künftigen Unterhaltszahlungen verrechnen dürfe. Schliesslich wurde beiden Parteien die unentgeltliche Prozessführung mit amtlichem Rechtsbeistand bewilligt. B. Nachdem dieses Urteil auf Berufung von X._ hin aufgehoben und zu neuem Entscheid an das Bezirksgericht zurückgewiesen wurde (Urteil vom 21. September 2010), gelangte dieser auf das darauf hin ergangene erstinstanzliche Urteil (Urteil vom 7. Dezember 2010) erneut an das Obergericht des Kantons Thurgau, wobei ihm die unentgeltliche Rechtspflege gewährt wurde. Das Obergericht hiess die Berufung teilweise gut (Urteil vom 26. Mai 2011); gleichzeitig wies es eine Anschlussberufung von Y._ ab, hiess indes deren eigene Berufung teilweise gut. Das Obergericht schützte die Abänderungsklage einzig insofern, als es - in Abänderung von Ziff. 2 lit. j des Urteils des Bezirksgerichts Arbon vom 2. November 2005 - die Pflicht von X._ zur Weiterleitung der Ausbildungszulage für B._ rückwirkend ab Februar 2009 aufhob. Im Übrigen wurde die Abänderungsklage abgewiesen. Ausserdem wurde davon Vormerk genommen, dass Y._ X._ den Betrag von Fr. 650.-- (doppelte Bezahlung der Zulagen Januar 2009) zurückbezahlt hat. C. Hiergegen gelangt X._ (nachfolgend: Beschwerdeführer) mit "Beschwerde" vom 31. August 2011 an das Bundesgericht. In der Hauptsache beantragt er, keine Unterhaltsbeiträge mehr bezahlen zu müssen. Ausserdem verlangt er - mittels vorsorglicher Massnahmen - die Einstellung seiner Unterhaltszahlungen an die mündigen Kinder sowie die Obhutszuteilung betreffend C._. Mit Präsidialverfügung vom 3. August 2011 wurden diese Massnahmebegehren abgewiesen. Ferner stellt der Beschwerdeführer einen Antrag auf unentgeltliche Rechtspflege. Es wurden die Akten, aber keine Vernehmlassungen eingeholt.