Sachverhalt:
Die rubrizierten Parteien stehen sich seit dem 21. Juni 2018 vor dem Bezirksgericht Zürich in einem Verfahren gegenüber, bei welchem es um eine Palette von Feststellungsbegehren von A._ im Zusammenhang mit dem Nachlass seiner Schwester geht. Weil diese wenig klar sind, liess ihn das Bezirksgericht mit Verfügung vom 23. Juli 2019 wissen, wie sie seine Begehren verstehe, wobei ihm freigestellt wurde, sich zu den gerichtlich formulierten Rechtsbegehren zu äussern. Nachdem sich A._ nicht näher geäussert hatte, wurden sie mit Verfügung vom 26. August 2019 so zu Protokoll genommen. Mit weiteren Eingaben beanstandete A._ das bezirksgerichtliche Vorgehen und beantragte sinngemäss die Feststellung der Nichtigkeit oder die Aufhebung der Verfügung vom 26. August 2019; zugleich stellte er ein Wiedererwägungsgesuch und ein Protokollberichtigungsbegehren.
Mit Beschluss vom 4. Februar 2020 behandelte das Bezirksgericht diese Begehren. Dabei hiess es jenes um Protokollberichtigung gut. Die Rügen betreffend Rechtsverweigerung und Gehörsverletzung im Zusammenhang mit den Verfügungen vom 23. Juli und 26. August 2019 wies es ab, soweit es darauf eintrat. Das Begehren um Nichtig- bzw. Ungültigerklärung bzw. Wiedererwägung der beiden Verfügungen wies es ab. Sodann trat es auf eine Reihe weiterer Rechtsbegehren nicht ein.
Hiergegen erhob A._ am 24. Februar 2020 eine Beschwerde, auf welche das Obergericht des Kantons Zürich mit Beschluss RB200008-O/U vom 31. März 2020 mangels eines Rechtsbegehrens und angesichts der nicht minimalste Anforderungen erfüllenden Beschwerdebegründung nicht eintrat (betreffend Rechtsverweigerung und Rechtsverzögerung sowie Nichtigkeits- und Ungültigkeitsklage). Mit Urteil LB200014-O/U gleichen Datums wies das Obergericht sodann die gegen das gleiche Anfechtungsobjekt erhobene Berufung vom 13. März 2020 ab, soweit es darauf eintrat (betreffend Feststellungsklage).
Gegen den Beschluss sowie gegen das Urteil des Obergerichtes hat A._ am 4. Mai 2020 beim Bundesgericht in der gleichen Eingabe je eine Beschwerde eingereicht mit den Begehren um Aufhebung und Kassation des Beschlusses und des Urteils sowie um Gutheissung und Bestätigung seiner Berufung gegen den Beschluss des Bezirksgerichts.
In Bezug auf den angefochtenen Beschluss wurde das vorliegende Beschwerdeverfahren 5A_332/2020 und in Bezug auf das Urteil das Beschwerdeverfahren 5A_333/2020 eröffnet. Auf die Kostenvorschussverfügungen vom 7. Mai 2020 hat der Beschwerdeführer am 12. Mai 2020 in beiden Verfahren mit einem Gesuch um unentgeltliche Rechtspflege reagiert.

Erwägungen:
1.
Die Rechtsmittel nach dem Bundesgerichtsgesetz sind reformatorisch (vgl. <ref-law>). Daher darf sich die beschwerdeführende Partei nicht darauf beschränken, die Aufhebung oder Kassation des angefochtenen Entscheides zu beantragen; vielmehr ist ein Antrag in der Sache zu stellen. Es ist demnach anzugeben, welche Punkte des Entscheides angefochten und welche Abänderungen beantragt werden (<ref-ruling> E. 3.1 S. 490; <ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 1.3 S. 317; letztmals Urteil 4A_578/2019 vom 16. April 2020 E. 1.2).
In Bezug auf den angefochtenen Beschluss vom 31. März 2020 wird ausschliesslich ein kassatorisches Begehren gestellt. Auf die Beschwerde ist deshalb mangels eines genügenden Rechtsbegehrens nicht einzutreten.
2.
Im Übrigen würde die Beschwerde in zweifacher Hinsicht auch an der unzureichenden bzw. fehlenden Beschwerdebegründung scheitern:
Grundsätzlich können nur Endentscheide beim Bundesgericht angefochten werden (<ref-law>). Der obergerichtliche Beschluss ist, weil das Verfahren vor erster Instanz weitergeht, kein End-, sondern ein Zwischenentscheid. Ein solcher kann nur ganz ausnahmsweise, nämlich unter den besonderen Voraussetzungen von <ref-law> mit Beschwerde beim Bundesgericht angefochten werden (ausführlich zum nicht wieder gutzumachenden Nachteil insb. <ref-ruling> E. 2.2 S. 801), wobei diese in der Beschwerde darzutun sind (<ref-ruling> E. 1.1 S. 329; <ref-ruling> E. 1.3 S. 292). Eine solche Darlegung erfolgt nicht.
Ferner ist die Vorinstanz auf das Rechtsmittel des Beschwerdeführers nicht eingetreten, weshalb Streitgegenstand grundsätzlich nur die Frage bilden kann, ob die Vorinstanz zu Recht einen Nichteintretensentscheid gefällt hat (<ref-ruling> E. 1.2 S. 41). Hierzu müsste sich der Beschwerdeführer inhaltlich äussern und darlegen, inwiefern mit dem Nichteintretensentscheid Recht verletzt worden sein soll (<ref-law>; <ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.4 S. 368). Hierzu findet sich ebenfalls keine nachvollziehbare Darlegung.
3.
Nach dem Gesagten ist auf die Beschwerde im vereinfachten Verfahren nach Art. 108 Abs. 1 lit. a und b BGG nicht einzutreten.
4.
Wie die vorstehenden Erwägungen zeigen, konnte der Beschwerde von Anfang an kein Erfolg beschieden sein, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt (<ref-law>) und das entsprechende Gesuch abzuweisen ist.
5.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 18. Mai 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli