hat sich ergeben:
A.- Die Ehe von Z._ und Y._ wurde mit Urteil des Kantonsgerichts Zug (1. Abteilung) vom 20. Juli 1995 geschieden. Z._ wurde verpflichtet, Y._ Unterhaltsbeiträge zu bezahlen, in der Höhe abhängig von den zu leistenden Kinderunterhaltsbeiträgen. Derzeit hat er für Y._ einen Unterhaltsbeitrag von monatlich Fr. 1'200.-- und für das jüngste Kind einen solchen von monatlich Fr. 950.-- zu bezahlen. Nach Wegfall des Kinderunterhaltsbeitrags wird sich der Y._ gemäss Scheidungsurteil bis zu ihrer ordentlichen Pensionierung zustehende Unterhaltsbeitrag auf monatlich Fr. 1'500.-- belaufen.
B.- Mit Klage vom 30. September 1998 auf Abänderung des Scheidungsurteils verlangte Z._ die Aufhebung, eventuell eine angemessene Herabsetzung seiner Unterhaltspflicht gegenüber Y._. Das Amtsgericht Luzern-Land (II. Ab-teilung) wies die Klage am 1. März 2000 ab. Mit Urteil vom 18. Dezember 2000 bestätigte das Obergericht (II. Kammer) des Kantons Luzern diesen Entscheid.
C.- Z._ hat mit Eingabe vom 12. April 2001 staatsrechtliche Beschwerde erhoben. Er beantragt, das Urteil des Obergerichts wegen Missachtung des Anspruchs auf rechtliches Gehör (Art. 29 Abs. 2 BV) und Verletzung des Willkürverbots (Art. 9 BV) aufzuheben. Ausserdem ersucht er darum, ihm für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege zu gewähren.
Vernehmlassungen zur Beschwerde sind nicht eingeholt worden.

Das Bundesgericht zieht in Erwägung:
1.- Bezüglich der wirtschaftlichen Verhältnisse, wie sie dem Scheidungsurteil zugrunde lagen, ist das Obergericht von einem Einkommen des Beschwerdeführers von Fr. 5'200.-- im Monat ausgegangen. Es stützt sich dabei auf die entsprechende Zugabe der Beschwerdegegnerin in der Appellationsverhandlung, wonach im Zeitpunkt der Scheidung angenommen worden sei, es sei für den Beschwerdeführer ein Leichtes, den vor seiner Arbeitslosigkeit erzielten Verdienst in der gleichen Höhe wieder zu erreichen.
Es ist unklar, was der Beschwerdeführer hiegegen vorbringen will. Seine Ausführungen zu dem im Zeitpunkt der Scheidung tatsächlich erzielten tieferen Arbeitsloseneinkommen sind ohne Belang, da die kantonale Appellationsinstanz von einem dem Scheidungsurteil zugrunde liegenden Einkommen von Fr. 5'200.-- ausgegangen ist. Zwar deutet der Beschwerdeführer an, dass von einem noch höheren Einkommen hätte ausgegangen werden müssen, doch fehlt eine den Anforderungen von Art. 90 Abs. 1 lit. b OG genügende Begründung der Rüge (dazu <ref-ruling> E. 2a S. 3 f.).
2.- a) Das Obergericht hat festgehalten, dass der Beschwerdeführer bei Einleitung der Abänderungsklage im September 1998 ein monatliches Einkommen von Fr. 5'200.-- erzielt habe, d.h. den Betrag, mit dem nach den Feststellungen der
kantonalen Instanz bei der Scheidung gerechnet worden war.
Im Jahre 1999 sei der Verdienst mit Fr. 4'646.-- im Monat zwar tiefer gewesen, doch sei zu berücksichtigen, dass sich zusätzlich ein Nebenverdienst erzielen lasse. In der Klage vom 30. September 1998 habe der Beschwerdeführer seinen Lohn auf Fr. 3'714.-- (einschliesslich Anteil 13. Monatslohn und Gratifikation) beziffert. Konfrontiert mit dem Lohnausweis habe er erklärt, der 1998 erzielte Lohn von Fr. 5'200.-- monatlich gehe auf Überstunden zurück, die aber nicht "garantiert" seien. Indessen habe der Arbeitgeber bestätigt, dass auch 1999 Überstunden ausbezahlt worden seien. Das Obergericht hält dafür, dass der Beschwerdeführer auch in Zukunft Mehrarbeit leisten könne und dass damit von ihm keine ungebührlich hohe Arbeitsleistung erwartet werde. Es sei nämlich anzunehmen, dass er nur unter Berücksichtigung von "Überstunden" ein Vollpensum versehe. Bei den Akten liege kein Arbeitsvertrag, aus welchem die Normalarbeitszeit ersichtlich wäre, und der Beschwerdeführer habe im arbeitslosenversicherungsrechtlichen Verfahren vor dem Verwaltungsgericht des Kantons Zug selber behauptet, sein Pensum bei der Firma X._ schwanke zwischen 60 und 100 %. Ausserdem müsse angenommen werden, dass der Beschwerdeführer auch noch einen Nebenverdienst bei der W._ AG in Liquidation erzielt habe. Zwar lege er eine Bestätigung vor, wonach er weder Geschäftsinhaber gewesen sei noch Lohn bezogen habe. Diese Erklärung könne aber nicht losgelöst von seiner Aussage gewürdigt werden, dass er beim Aufbau des genannten Unternehmens geholfen habe, was auch aus einem Zeitungsbericht über die Geschäftseröffnung hervorgehe. Es würde jeder Logik widersprechen, wenn der Beschwerdeführer seine Spezialkenntnisse im Teppichhandel beim Aufbau eines entsprechenden kommerziellen Unternehmens ohne Gegenleistung erbracht hätte.
b) Der Beschwerdeführer wendet gegen diese Beurteilung ein, es stehe nicht in seinem Belieben, bei der X._ AG Überstunden zu leisten, und es sei unzulässig, aus den Angaben im arbeitslosenversicherungsrechtlichen Verfahren den Schluss zu ziehen, er erfülle auch heute noch kein Vollpensum.
Unhaltbar sei weiter, dass die Bestätigungen, wonach er bei der W._ AG kein Einkommen erzielt habe, einfach übergangen worden seien.
Eine willkürliche, gegen Art. 9 BV verstossende Sachverhaltsfeststellung liegt nur vor, wenn die Behörde ihrem Entscheid Feststellungen zugrunde legt, die mit den Akten in klarem Widerspruch stehen (dazu <ref-ruling> E. 4b S. 40; <ref-ruling> E. 1b S. 30, mit Hinweisen). Davon kann hier nicht die Rede sein: Es ist zunächst in der Tat unglaubwürdig, wenn der Beschwerdeführer für den Aufbau eines Teppichhandelsgeschäfts ohne jegliches Salär gearbeitet haben will. Alsdann ist es nicht willkürlich anzunehmen, der Beschwerdeführer, der 1998 einen Verdienst von Fr. 5'200.-- zu erzielen vermochte, wäre auch später noch in der Lage gewesen, diesen Lohn beizubehalten, ohne dass ihm eine ungebührlich hohe Arbeitsleistung abverlangt würde. Das Obergericht hat dabei darauf abgestellt, dass sein Arbeitspensum schon bisher Schwankungen unterworfen war. Darin liegt keine Aktenwidrigkeit.
Die kantonale Instanz konnte sich nicht nur auf die Änderungen der Lohnhöhe, für die eine plausible Erklärung fehlt, sondern auch darauf stützen, dass der Beschwerdeführer in einem früheren Verfahren selber erklärt hatte, sein Pensum bewege sich zwischen 60 und 100 %.
3.- Das Obergericht weist darauf hin, dass der Beschwerdeführer Schulden von über Fr. 300'000.-- glaubhaft gemacht
habe. Nach der Aktenlage könne nicht abschliessend beurteilt werden, ob diesen Passiven nicht auch Aktiven gegenüberstünden.
Eine allfällige Überschuldung würde nach Ansicht der kantonalen Instanz jedoch nichts daran ändern, dass der Beschwerdeführer auf Grund seines Einkommens nach wie vor als zur Leistung der im Scheidungsurteil festgelegten Unterhaltsbeiträge fähig erscheine.
Mit der staatsrechtlichen Beschwerde wird nur die Beweiswürdigung bezüglich der Vermögenslage angefochten. Die zweite Begründung des Obergerichts, wonach der Beschwerdeführer als zur Leistung der strittigen Unterhaltsbeiträge auch dann fähig erschiene, wenn sich die Vermögenslage tatsächlich so darstellen sollte, wie von ihm behauptet, ist unangefochten geblieben. Da das Urteil des Obergerichts mithin auch dann bestehen bliebe, wenn die erhobene Rüge berechtigt sein sollte, ist in diesem Punkt auf die Beschwerde nicht einzutreten (dazu <ref-ruling> E. 2 S. 16; <ref-ruling> E. 1a/bb S. 95 f.; <ref-ruling> E. 2c S. 224, mit Hinweisen).
4.- Die staatsrechtliche Beschwerde ist nach dem Gesagten abzuweisen, soweit darauf einzutreten ist. Da die Beschwerde unter den dargelegten Umständen von vornherein keine Aussicht auf Erfolg haben konnte, ist das Gesuch um Gewährung der unentgeltlichen Rechtspflege abzuweisen (vgl. Art. 152 Abs. 1 OG). Angesichts der schwierigen finanziellen Verhältnisse des Beschwerdeführers ist von der Erhebung einer Gerichtsgebühr indessen abzusehen (Art. 153a Abs. 1 OG). Da keine Vernehmlassung eingeholt worden ist, sind der Beschwerdegegnerin keine Aufwendungen erwachsen, so dass für die Zusprechung einer Parteientschädigung kein Anlass besteht.

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch des Beschwerdeführers um Gewährung der unentgeltlichen Rechtspflege wird abgewiesen.
3.- Es wird keine Gerichtsgebühr erhoben.
4.- Dieses Urteil wird den Parteien und dem Obergericht (II. Kammer) des Kantons Luzern schriftlich mitgeteilt.
_
Lausanne, 23. Mai 2001
Im Namen der II. Zivilabteilung des
SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: