Sachverhalt:
A.
A.a. A._ war Partner in der Anwaltskanzlei B._ AG. Am 30. November 2015 schlossen die B._ AG und sechs verbleibende Partner auf der einen Seite eine Vereinbarung mit A._ sowie zwei weiteren Partnern auf der anderen Seite betreffend deren Ausscheiden aus der Kanzlei. Nach Ziffer 4 dieser Vereinbarung sollten in der ersten Januarwoche 2016 die Saldi der Aktionärskontokorrente aller ausscheidenden Partner per Ende 2015 berechnet und ihnen ein allfälliger positiver Saldo bis spätestens am 10. Januar 2016 ausbezahlt werden. Mit E-Mail vom 20. Januar 2016 liess die B._ AG den ausscheidenden Partnern eine Abrechnung per Ende 2015 zukommen. Gemäss dieser Abrechnung hatte A._ von der B._ AG Fr. 52'469.-- zu viel bezogen, welcher Betrag mit dem Guthaben seines Kontokorrents in Höhe von Fr. 34'682.-- verrechnet wurde, sodass im Ergebnis ein Negativsaldo von Fr. 17'787.-- zu Lasten von A._ resultierte.
A.b. Mit Zahlungsbefehl vom 8. Juli 2016 betrieb A._ die B._ AG gestützt auf die Vereinbarung vom 30. November 2015 im Umfang von Fr. 34'682.-- zuzüglich Zins zu 5 % seit dem 10. Januar 2016. Die B._ AG erhob dagegen Rechtsvorschlag.
A.c. Mit Urteil vom 5. August 2016 wies das Bezirksgericht Zürich das Rechtsöffnungsbegehren mangels Schuldanerkennung ohne Anhörung der Gegenpartei ab.
B.
Gegen dieses Urteil erhob A._ mit Eingabe vom 22. August 2016 Beschwerde an das Obergericht des Kantons Zürich. Er verlangte die Erteilung der provisorischen Rechtsöffnung für Fr. 34'682.-- nebst Zins zu 5 % seit 10. Januar 2016 und für Fr. 103.30 Zahlungsbefehlskosten. Mit Urteil vom 7. Dezember 2016 wies das Obergericht die Beschwerde ab.
C.
Mit Beschwerde in Zivilsachen vom 24. Januar 2017 ist A._ an das Bundesgericht gelangt. Der Beschwerdeführer beantragt die Aufhebung des angefochtenen Entscheids und erneuert sein im kantonalen Verfahren gestelltes Begehren.
Es sind die kantonalen Akten beigezogen, aber keine Vernehmlassungen eingeholt worden.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen den Entscheid einer letzten kantonalen Instanz, die als oberes Gericht über die Rechtsöffnung entschieden hat (Art. 72 Abs. 2 lit. a, Art. 75 Abs. 1 und Art. 90 BGG). Der Streitwert übersteigt Fr. 30'000.-- (<ref-law>). Die Beschwerde in Zivilsachen ist damit grundsätzlich zulässig. Der Beschwerdeführer ist gemäss <ref-law> zur Beschwerde berechtigt und die Beschwerdefrist ist eingehalten (<ref-law>). Insofern kann auf die Beschwerde eingetreten werden.
1.2. Mit vorliegender Beschwerde kann die Verletzung von Bundesrecht gerügt werden (<ref-law>). In der Beschwerde ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>). Die Verletzung verfassungsmässiger Rechte ist ebenfalls zu begründen (<ref-law>), wobei hier das Rügeprinzip gilt (<ref-ruling> E. 2 S. 591). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>).
2.
2.1. Nach Auffassung des Obergerichts genügt die Vereinbarung vom 30. November 2015 in Verbindung mit der (nicht unterzeichneten) Abrechnung der Beschwerdegegnerin vom 20. Januar 2016 den Anforderungen an einen provisorischen Rechtsöffnungstitel nicht. Die Forderungssumme müsse dafür im verwiesenen Dokument bestimmt oder leicht bestimmbar sein, und zwar im Zeitpunkt der Unterzeichnung des verweisenden Dokuments. Der Saldo des Aktionärskontokorrents per Ende 2015 hätte daher bereits am 30. November 2015 zumindest bestimmbar, d.h. berechenbar, sein müssen. Das sei aber unbestrittenermassen nicht der Fall gewesen. Der Beschwerdeführer habe diesbezüglich vorgebracht, die fehlende Berechenbarkeit bei Abschluss der Vereinbarung sei ohne Belang, denn die Beschwerdegegnerin habe die geschuldete Summe allein bestimmen können. Das treffe aber nicht zu, denn die Beschwerdegegnerin habe den Saldo des Aktionärskontokorrents nicht in beliebiger Höhe festlegen können, sondern habe diesen berechnen müssen. Die Berechnungsgrundlagen seien von der damals noch ungewissen künftigen Tatsache abhängig gewesen, ob und in welchem Umfang im Dezember 2015 Forderungen beider Parteien über das Kontokorrent verrechnet werden würden. Die Anerkennung einer Schuld in (vorerst) gänzlich unbekannter und überdies von den Parteien beeinflussbarer Höhe stelle keine Schuldanerkennung im Sinne von <ref-law> dar.
2.2. Vor Bundesgericht macht der Beschwerdeführer einen Verstoss gegen <ref-law> geltend. Zusammenfassend hält er an seiner Auffassung fest, die Beschwerdegegnerin hätte den Saldo in beliebiger Höhe festlegen können, was das Obergericht verkannt habe. Hätte die Beschwerdegegnerin statt Fr. 34'682.-- einen tieferen Betrag in die Abrechnung geschrieben, hätte der Beschwerdeführer keine Möglichkeit gehabt, sie daran zu hindern und hätte er eben nur einen zusammengesetzten Rechtsöffnungstitel für jenen anderen Betrag gehabt. Die vorliegend relevante Rechtsfrage, ob eine vom Schuldner selbst zu einem späteren Zeitpunkt erstellte Urkunde, zusammen mit einer von ihm unterzeichneten Urkunde, welche auf erstere klar und unmittelbar verweise, einen Rechtsöffnungstitel bilden könne, sei vom Bundesgericht noch nicht entschieden worden. <ref-ruling> liefere auf diese Frage nicht unmittelbar die Antwort, weil sich dieser Entscheid auf eine zu einem späteren Zeitpunkt von der Versammlung der Stockwerkeigentümer, also von einem Dritten, erstellte bzw. genehmigte Kostenabrechnung bezogen habe. Im Gegensatz zum dort entschiedenen Fall sei vorliegend im Moment der Unterschrift für die Beschwerdegegnerin ihre Verpflichtung voll bestimmbar gewesen, da sie es selber in der Hand gehabt habe, genau festzulegen, wie viel sie schulde.
3.
Anlass zur Beschwerde geben einzig die Anforderungen an einen provisorischen Rechtsöffnungstitel.
3.1. Verfügt der Gläubiger über eine unterschriebene oder in öffentlicher Urkunde festgehaltene Schuldanerkennung, so kann er vom Richter die provisorische Rechtsöffnung verlangen (<ref-law>). Eine Schuldanerkennung liegt vor, wenn daraus der vorbehalts- und bedingungslose Wille des Betriebenen hervorgeht, dem Betreibenden einen bestimmten oder leicht bestimmbaren Betrag zu zahlen.
Dabei kann sich die Schuldanerkennung auch aus einer Gesamtheit von Urkunden ergeben, sofern die notwendigen Elemente daraus hervorgehen. Dies bedeutet, dass die unterzeichnete Urkunde auf die Schriftstücke, welche die Schuld betragsmässig ausweisen, klar und unmittelbar Bezug nehmen beziehungsweise verweisen muss (<ref-ruling>E. 2 und 3.3 S. 629 ff.; <ref-ruling> E. 4.1 S. 480 f.). Eine Bezugnahme kann jedoch nur dann konkret sein, wenn der Inhalt der verwiesenen Dokumente dem Erklärenden bekannt und von der unterzeichneten Willensäusserung gedeckt ist (<ref-ruling> E. 2.3.1 S. 302; <ref-ruling> E. 4.3 S. 482; Urteil 5A_206/2013 vom 13. Mai 2013 E. 2.3; AMBRE VEUILLET, in: Commentaire Stämpfli, La mainlevée de l'opposition, 2017, N. 27 zu <ref-law>). Für einen Betrag, der im Zeitpunkt, in dem der Betriebene seine Unterschrift auf das Schriftstück setzte, aus dem seine Schuld hervorgeht, weder bestimmt noch leicht bestimmbar war, kann somit die Rechtsöffnung nicht erteilt werden.
3.2. Es steht fest, dass der Saldo des Aktionärskontokorrents im Zeitraum zwischen der Unterzeichnung der Vereinbarung vom 30. November 2015 und Ende 2015 noch potenziellen Veränderungen ausgesetzt war. Der geschuldete Betrag war damit im massgeblichen Zeitpunkt der Unterzeichnung der Vereinbarung vom 30. November 2015 weder bestimmt noch leicht bestimmbar. Der Argumentation des Beschwerdeführers ist mit dem Obergericht entgegenzuhalten, dass es der Beschwerdegegnerin nicht offenstand, die Höhe der Schuld nach ihrem Gutdünken festzusetzen. Vielmehr war gemäss Ziffer 4 der Vereinbarung vom 30. November 2015 eine Berechnung vorzunehmen und dabei auch auf künftige Gegebenheiten abzustellen, die bei Eingehen der Verpflichtung noch ungewiss und überdies von den Parteien beeinflussbar waren. Der Beschwerdeführer kann sich unter diesen Umständen nicht mit Erfolg auf das Vorliegen einer zusammengesetzten Schuldanerkennung berufen, sodass das Obergericht kein Bundesrecht verletzt hat, wenn es dem Beschwerdeführer die Erteilung der provisorischen Rechtsöffnung verweigert hat.
4.
Aus den dargelegten Gründen muss die Beschwerde abgewiesen werden. Bei diesem Verfahrensausgang hat der Beschwerdeführer für die Gerichtskosten aufzukommen (<ref-law>). Der Gegenpartei ist kein entschädigungspflichtiger Aufwand entstanden (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 18. August 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Buss