A.- P._ (geboren 1963) war seit 1983 als Hilfsarbeiter in der Schweiz tätig, zuletzt bei der Firma S._. Ab 10. Januar 1995 blieb er der Arbeit infolge Rückenbeschwerden fern. Mit Anmeldungen vom 1. September 1995 und 15. Februar 1996 ersuchte er um Leistungen der Invalidenversicherung. Die IV-Stelle des Kantons Zürich liess berufliche Massnahmen abklären und lehnte am 27. Juni 1996 sowie nach nochmaliger Anmeldung am 22. August 1997 einen Anspruch auf eine Rente ab. Nachdem P._ gegen die Verfügung vom 22. August 1997 Beschwerde hatte erheben lassen, wies das Sozialversicherungsgericht des Kantons Zürich die Sache mit Entscheid vom 29. Januar 1998 an die IV-Stelle zur Durchführung einer polydisziplinären Untersuchung zurück. Gestützt auf das Gutachten des Zentrums für Medizinische Begutachtung (ZMB) vom 3. November 1998 verneinte die IV-Stelle mit Verfügung vom 7. April 1999 erneut einen Anspruch auf eine Rente.
B.- Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Januar 2001 ab.
C.- P._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, es sei der vorinstanzliche Entscheid aufzuheben und die Sache zur Neubeurteilung an die IV-Stelle zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde.
Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die Vorinstanz hat die Bestimmungen und Grundsätze über den Begriff der Invalidität (<ref-law>), den Anspruch auf eine Invalidenrente (Art. 28 Abs. 1 und 1bis IVG) und die Ermittlung des Invaliditätsgrades bei Erwerbstätigen nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>; <ref-ruling>; AHI 2000 S. 81 Erw. 2, je mit Hinweisen) zutreffend dargelegt. Dasselbe gilt für die Beurteilung einer Neuanmeldung bei vorgängiger Ablehnung eines Anspruchs infolge nicht rentenbegründendem Invaliditätsgrad (<ref-law>, Art. 87 Abs. 3 und 4 IVV; <ref-ruling> Erw. 3a; AHI 1999 S. 84 Erw. 1b, je mit Hinweisen) und den für die sozialversicherungsgerichtliche Prüfung massgebenden Zeitpunkt (<ref-ruling> Erw. 1b mit Hinweisen) sowie die Bedeutung ärztlicher Stellungnahmen für die Invaliditätsbemessung (<ref-ruling> Erw. 4 mit Hinweisen) und den Beweiswert eines Arztberichts (<ref-ruling> Erw. 3a mit Hinweis). Darauf wird verwiesen.
2.- Streitig ist der Anspruch auf eine Invalidenrente, insbesondere, ob dem Versicherten auf Grund seiner Kopfschmerzen sowie infolge seiner psychischen Leiden eine Invalidenrente zusteht.
3.- a) Aus dem Bericht des Dr. med. F._, Klinik X._, Klinik für Psychiatrie und Psychotherapie, vom 6. September 1999 ergibt sich keine wesentliche Zunahme der Kopfschmerzen gegenüber dem ZMB-Gutachten vom 3. November 1998 oder der Situation von 1996. Zwar hält Dr. med.
F._ die unbestrittenermassen vorliegenden chronischen Kopfschmerzen für eine Migräne und verweist diesbezüglich auf eine Abklärung durch Dr. med. I._, Facharzt für Neurologie, doch ergibt sich weder aus seinem Bericht noch aus den übrigen Akten, auf Grund welcher Befunde und Schlussfolgerungen dieser angeblich eine Migräne diagnostizierte. Dies vermag die ausführlichen Untersuchungen und Berichterstattung durch PD Dr. med.
R._, Facharzt für Neurologie, im Rahmen des ZMB-Gutachtens nicht in Frage zu stellen. Eine über die Beurteilung des ZMB hinausgehende Einschränkung der Arbeitsfähigkeit infolge der Kopfschmerzen ist demnach nicht ersichtlich.
b) Bezüglich der übrigen physischen Beschwerden ist eine massgebliche Verschlechterung gegenüber 1996 weder aus den Akten ersichtlich noch geltend gemacht.
4.- a) Aus dem Bericht des Dr. med. F._ wie auch aus dem ZMB-Gutachten ergibt sich eine Verschlechterung des psychischen Gesundheitszustandes gegenüber der Situation von 1996. Zu prüfen bleibt, ob dieser das erforderliche Ausmass im Sinne der Rechtsprechung aufweist.
b) Eine fachärztlich festgestellte psychische Krankheit ist nicht ohne weiteres gleichbedeutend mit dem Vorliegen einer Invalidität. In jedem Einzelfall muss eine Beeinträchtigung der Erwerbsunfähigkeit unabhängig von der Diagnose und grundsätzlich unbesehen der Ätiologie ausgewiesen und in ihrem Ausmass bestimmt sein. Entscheidend ist die nach einem weitgehend objektivierten Massstab zu erfolgende Beurteilung, ob und inwiefern dem Versicherten trotz seines Leidens die Verwertung seiner Restarbeitsfähigkeit auf dem ihm nach seinen Fähigkeiten offen stehenden ausgeglichenen Arbeitsmarkt noch sozialpraktisch zumutbar und für die Gesellschaft tragbar ist (<ref-ruling> Erw. 4c mit Hinweisen). <ref-law> versichert zu Erwerbsunfähigkeit führende Gesundheitsschäden, worunter soziokulturelle Umstände nicht zu begreifen sind. Es braucht in jedem Fall zur Annahme einer Invalidität ein medizinisches Substrat, das (fach)ärztlicherseits schlüssig festgestellt wird und nachgewiesenermassen die Arbeits- und Erwerbsfähigkeit wesentlich beeinträchtigt. Je stärker psychosoziale oder soziokulturelle Faktoren im Einzelfall in den Vordergrund treten und das Beschwerdebild mitbestimmen, desto ausgeprägter muss eine fachärztlich festgestellte psychische Störung mit Krankheitswert vorhanden sein. Das bedeutet, dass das klinische Beschwerdebild nicht einzig in Beeinträchtigungen, welche von den belastenden soziokulturellen Faktoren herrühren, bestehen darf, sondern davon psychiatrisch zu unterscheidende Befunde zu umfassen hat, zum Beispiel eine von depressiven Verstimmungszuständen klar unterscheidbare andauernde Depression im fachmedizinischen Sinne oder einen damit vergleichbaren psychischen Leidenszustand.
Solche von der soziokulturellen Belastungssituation zu unterscheidende und in diesem Sinne verselbstständigte psychische Störungen mit Auswirkungen auf die Arbeits- und Erwerbsfähigkeit sind unabdingbar, damit überhaupt von Invalidität gesprochen werden kann. Wo der Gutachter dagegen im Wesentlichen nur Befunde erhebt, welche in den psychosozialen und soziokulturellen Umständen ihre hinreichende Erklärung finden, gleichsam in ihnen aufgehen, ist kein invalidisierender Gesundheitsschaden gegeben. Ist andererseits eine psychische Störung von Krankheitswert schlüssig erstellt, kommt der Frage zentrale Bedeutung zu, ob und inwiefern, allenfalls bei geeigneter therapeutischer Behandlung, von der versicherten Person trotz des Leidens willensmässig erwartet werden kann zu arbeiten und einem Erwerb nachzugehen (<ref-ruling> Erw. 5a mit Hinweisen).
c) aa) Entgegen der Ansicht des Beschwerdeführers kommt dem psychiatrischen Teilgutachten des Dr. med.
A._, Facharzt für Psychiatrie, innerhalb des ZMB-Gutachtens Beweiswert zu. Dessen Bericht ist ebenso ausführlich und schlüssig wie derjenige des Dr. med.
F._, zumal sich Dr. med. A._ bezüglich der Anamnese und der Erhebung des somatischen Gesundheitszustandes auf die vorangegangenen Untersuchungen der übrigen Gutachter abstützen konnte. Seine Beurteilung steht in Einklang mit dem sich aus den übrigen Akten ergebenden Bild des Versicherten. Zwar ist es zutreffend, dass Dr.
med. A._ an der Schlussbesprechung nicht zugegen war; an seiner Stelle nahm jedoch Dr. med. B._, Facharzt für Psychiatrie, teil, sodass die Schlussfolgerungen sehr wohl unter fachärztlicher psychiatrischer Beteiligung gezogen wurden. Auch ist festzuhalten, dass selbst der Hausarzt des Versicherten, Dr. med. K._, Facharzt für Allgemeine Medizin, in seinem Bericht vom 20. Januar 1999 keine weitergehenden psychischen Beeinträchtigungen als die im ZMB-Gutachten diagnostizierte Schmerzverarbeitungsstörung oder Anzeichen hiezu erwähnt.
Der von Dr. med. D._, Facharzt für Physikalische Medizin und Rehabilitation, in seinem Bericht vom 16. April 1999 erstmals geäusserte Verdacht einer Phobie wie auch die anschliessend begonnene psychiatrische Behandlung erfolgten erst, nachdem die IV-Stelle einen Rentenanspruch mit Verfügung vom 7. April 1999 erneut abgelehnt hatte.
bb) Was den Bericht des Dr. med. F._ vom 6. September 1999 betrifft, so geht aus ihm nicht schlüssig hervor, dass die erwähnten Phobien die Arbeitsfähigkeit des Versicherten derart schwer beeinträchtigen, dass ihm keine Arbeiten mehr zugemutet werden könnten und demnach von Erwerbsunfähigkeit ausgegangen werden müsste; immerhin hält auch Dr. med. F._ den Beschwerdeführer grundsätzlich für eingliederungsfähig und erwähnt die Phobien nur als sekundäre Leiden. Die von ihm als ursächlich eingestufte somatoforme Schmerzstörung mit persistierendem Schmerzverarbeitungssyndrom und depressiver Entwicklung infolge der chronischen Schmerzen erfolgt zudem in Einklang mit der Diagnose des Dr. med. A._. Im Vordergrund steht vielmehr die missliche soziale Lage, welcher auch Dr. med.
F._ eine zentrale Rolle einräumt. Im Übrigen erstattete Dr. med. F._ seinen Bericht mehrere Monate nach dem massgeblichen Zeitpunkt, dem 7. April 1999 (<ref-ruling> Erw. 1b mit Hinweisen).
cc) Nach dem Gesagten ist es nicht zu beanstanden, dass sich Verwaltung und Vorinstanz für die Beurteilung des gesundheitlichen Zustands im massgeblichen Zeitpunkt auf das ZMB-Gutachten abgestützt haben.
5.- Der Versicherte erhebt gegen die Ermittlung des Validen- und Invalideneinkommens durch das kantonale Gericht gestützt auf die Lohnstrukturerhebungen des Bundesamtes für Statistik (LSE) keine Einwände. Aus den Akten sind auch keine Anhaltspunkte ersichtlich, wonach diese unzutreffend wären, mit der Ausnahme, dass die Vorinstanz beim hypothetischen Einkommen ohne Gesundheitsschaden zu Gunsten des Beschwerdeführers auch eine Nominallohnerhöhung für das Jahr 1995 berücksichtigt hat (vgl. AHI 2000 S. 307 Erw. 2c, 1999 S. 180 Erw. 3a). Die Ablehnung des Anspruchs auf eine Invalidenrente infolge nicht rentenbegründendem Invaliditätsgrad besteht demnach zu Recht.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Schweizerischen Gewerbes und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 18. Juni 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Vorsitzende der III. Kammer:
Die Gerichtsschreiberin: