A.- C._ arbeitete seit 1978 bei der Firma P._ AG als Maurer. Am 20. Mai 1994 erlitt er einen Arbeitsunfall, worauf die Schweizerische Unfallversicherungsanstalt (SUVA) bis Ende Oktober 1996 die gesetzlichen Versicherungsleistungen erbrachte.
Am 15. Juni 1995 meldete sich C._ bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich holte die Akten der SUVA, einen Arbeitgeberbericht vom 3. Juli 1995, diverse Arztberichte sowie einen Abklärungsbericht der beruflichen Eingliederungsmöglichkeiten vom 7. Mai 1996 ein. Sie sprach C._ nach durchgeführtem Vorbescheidverfahren mit zwei Verfügungen vom 25. April 1997 eine vom 1. Mai 1995 bis zum 31. Januar 1997 befristete, ganze Invalidenrente zu, da ab dem 14. Oktober 1996 nur noch eine Einschränkung von 25 % in der Arbeits- und Erwerbsfähigkeit vorliege.
B.- Nachdem ein Ergänzungsgutachten des Dr. med.
H._, Spezialarzt FMH für Psychiatrie und Psychotherapie, vom 22. Juni 1998 eingeholt worden war, wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 3. Februar 2000 die von C._ erhobene Beschwerde ab, da ein Invaliditätsgrad von nur 18,6 % vorliege.
C.- C._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und der Verwaltungsverfügung sei ihm ab Februar 1997 eine Viertelsrente, eventualiter eine halbe Rente, der Invalidenversicherung auszurichten.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die Vorinstanz hat den Begriff der Invalidität (<ref-law>), die vorliegend massgebenden Bestimmungen über die Voraussetzungen und den Umfang des Rentenanspruchs (<ref-law>), die Bemessung des Invaliditätsgrades bei Erwerbstätigen anhand des Einkommensvergleichs (<ref-law>) sowie die Aufgabe der Ärzte bei der Invaliditätsbemessung (<ref-ruling> Erw. 4) zutreffend dargelegt.
Dasselbe gilt für die analoge Anwendung der für die Rentenrevision geltenden Bestimmungen bei rückwirkender Zusprechung einer befristeten Invalidenrente (<ref-law>, <ref-law>; AHI 1998 S. 121 Erw. 1b mit Hinweisen) sowie die grundsätzliche Übereinstimmung des Invaliditätsbegriffes und -grades in Unfall- und Invalidenversicherung (<ref-ruling> ff. Erw. 2). Darauf kann verwiesen werden.
2.- Es steht fest und ist unbestritten, dass der Beschwerdeführer in somatischer Hinsicht spätestens seit dem
1. November 1996 arbeitsfähig ist. Streitig ist dagegen, ob der Versicherte an einem psychischen Gesundheitsschaden leidet, der die Arbeits- und Erwerbsfähigkeit beeinträchtigt.
a) Die Vorinstanz ging davon aus, dass seit Februar 1996, spätestens aber nach dem Ausheilen der Reoperation des linkes Armes, aus psychiatrischer Sicht keine Einschränkung der Arbeitsfähigkeit mehr festgestellt werden konnte. Der Beschwerdeführer ist demgegenüber der Ansicht, dass er durch erhebliche psychische Beschwerden in der Arbeitsfähigkeit eingeschränkt sei.
b) Gemäss dem Gutachten des Dr. med. H._ vom 22. Juni 1998 war der Versicherte bis zur (am 27. Februar 1996 stattgefundenen) Operation der Pseudarthrose (inkl.
einer angemessenen Erholungszeit) aus psychischen Gründen nicht oder allenfalls temporär 25 % arbeitsfähig. Für die seither und bis zu einer geplanten Operation im August 1998 geltende Arbeitsfähigkeit könne diejenige während der temporären Beschäftigung vom September 1997 bis März 1998 als Massstab gelten, jedoch sei nicht klar, was an diesem Arbeitsplatz für eine Leistung erbracht worden sei.
Damit ist festzuhalten, dass der Beschwerdeführer während mindestens zwei Jahren (Abschluss Rekonvaleszenz der Operation vom Februar 1996 bis zur geplanten Operation im August 1998) ohne psychisch bedingte Einschränkung arbeitsfähig gewesen ist; wenn die IV-Stelle ab dem 14. Oktober 1996 - d.h. knapp acht Monate nach der Operation - eine bloss noch 25 % betragende Einschränkung in der Arbeits- und Erwerbsfähigkeit angenommen hat, hat sie eine genügend lange Rekonvaleszenzzeit berücksichtigt. Weiter steht fest und ist unbestritten, dass spätestens seit dem 1. November 1996 keine somatischen Beschwerden mehr bestehen, welche die Arbeits- und Erwerbsfähigkeit beeinträchtigen. Die von Dr. med. H._ offen gelassenen Leistungen am Arbeitsplatz sind deshalb nicht massgeblich, da sie die somatische Seite betreffen, welche jedoch ab November 1996 nicht mehr ins Gewicht fällt. Wegen der fehlenden psychischen und somatischen Einschränkungen folgt, dass der Versicherte ab November 1996 vollumfänglich arbeitsfähig gewesen sein musste. Der Beschwerdeführer legt denn auch keine Arztzeugnisse vor, dass er - aus physischen oder psychischen Gründen - während der temporären Anstellung arbeitsunfähig gewesen wäre. Eine Abklärung beim (temporären) Arbeitgeber über die vollzeitlich erbrachten Leistungen für die Zeit von September 1997 bis März 1998 erübrigt sich deshalb und wäre im Übrigen auch nicht sinnvoll, da sich nach fast vier Jahren der temporäre Arbeitgeber und der Einsatzbetrieb an den Versicherten und dessen Einsatz kaum noch erinnern dürften.
Da der Sachverhalt genügend abgeklärt worden ist, erübrigen sich Weiterungen in somatischer und psychiatrischer Hinsicht.
3.- Die Vorinstanz hat das hypothetische Einkommen ohne Invalidität (Valideneinkommen) zu Recht anhand des zuletzt erzielten Monatslohnes festgesetzt und dabei die Lohnentwicklung bis zum Jahr 1997 (Ende des Rentenlaufs) berücksichtigt. Auch das zumutbarerweise erzielbare Einkommen mit Invalidität (Invalideneinkommen) ist korrekt anhand von der Lohnentwicklung angepassten Tabellenlöhnen bestimmt worden (<ref-ruling> f. Erw. 3b/bb mit Hinweisen), wobei der vorgenommene behinderungsbedingte Abzug in Höhe von 15 % zu bestätigen ist, da der Versicherte nur noch leichtere Hilfsarbeitertätigkeiten ausüben kann (<ref-ruling> f. Erw. 5b/aa-cc).
Damit ist der festgestellte Invaliditätsgrad von 18,6 % nicht zu beanstanden und der Anspruch auf Invalidenrente zu Recht auf Ende Januar 1997 befristet worden.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 28. August 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Der Gerichtsschreiber: