Sachverhalt:
A.
Der 1952 geborene A._, seit 1988 als selbständiger Rechtsanwalt tätig, meldete sich im November 2013 wegen einer Epilepsie und kognitiven Störungen bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich tätigte verschiedene Abklärungen in erwerblicher und medizinischer Hinsicht, namentlich veranlasste sie das neurologische Fachgutachten des Dr. med. B._, FMH Neurologie, Psychiatrie und Psychotherapie, vom 3. Dezember 2014. Nach durchgeführtem Vorbescheidverfahren verneinte die IV-Stelle mit Verfügung vom 25. Juni 2015 einen Rentenanspruch, da ein Invaliditätsgrad von 35 % ab Januar 2013 und 38 % ab November 2014 vorliege, welcher nicht rentenbegründend sei.
B.
Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich teilweise gut und sprach A._ eine halbe Rente ab dem 1. Mai 2014 (Invaliditätsgrad von 55 %) zu.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei ihm unter Aufhebung des angefochtenen Entscheids ab dem 1. Mai 2014 eine ganze Rente zuzusprechen.
Während die IV-Stelle und die Pensionskasse Schweizerischer Anwaltsverband (PK SAV) auf Abweisung der Beschwerde schliessen, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
2.1. Unbestritten ist, dass der Beschwerdeführer aufgrund einer Epilepsie und mittelschwerer kognitiver Funktionsstörungen in seiner angestammten Tätigkeit als selbständiger Rechtsanwalt ab November 2009 zu 30 %, ab Januar 2013 zu 50 % und ab November 2014 zu 55 % arbeitsunfähig ist. Streitig und zu prüfen ist indessen, ob das kantonale Gericht Bundesrecht verletzte, indem es durch Einkommensvergleich in Form des Prozentvergleichs einen Invaliditätsgrad von 55 % ermittelte, was - unter Berücksichtigung von <ref-law> - ab dem 1. Mai 2014 Anspruch auf eine halbe Rente ergab.
2.2. Bei erwerbstätigen Versicherten ist der Invaliditätsgrad aufgrund eines Einkommensvergleichs zu bestimmen (<ref-law>). Er hat in der Regel in der Weise zu erfolgen, dass die beiden hypothetischen Erwerbseinkommen ziffernmässig möglichst genau ermittelt und einander gegenübergestellt werden, worauf sich aus der Einkommensdifferenz der Invaliditätsgrad bestimmen lässt. Insoweit die fraglichen Erwerbseinkommen ziffernmässig nicht genau ermittelt werden können, sind sie nach Massgabe der im Einzelfall bekannten Umstände zu schätzen und die so gewonnenen Annäherungswerte miteinander zu vergleichen. Wird eine Schätzung vorgenommen, so muss diese nicht unbedingt in einer ziffernmässigen Festlegung von Annäherungswerten bestehen. Vielmehr kann auch eine Gegenüberstellung blosser Prozentzahlen genügen. Das ohne Invalidität erzielbare hypothetische Erwerbseinkommen ist alsdann mit 100 % zu bewerten, während das Invalideneinkommen auf einen entsprechend kleineren Prozentsatz veranschlagt wird, so dass sich aus der Prozentdifferenz der Invaliditätsgrad ergibt (sogenannter Prozentvergleich; <ref-ruling> E. 3a S. 312 f.).
2.3. Die Frage nach der anwendbaren Methode der Invaliditätsbemessung (Einkommensvergleich mit den beiden Untervarianten Schätzungs- und Prozentvergleich sowie ausserordentliches Bemessungsverfahren, Betätigungsvergleich, gemischte Methode) ist eine Rechtsfrage und vom Bundesgericht frei überprüfbar (Urteile 9C_508/2014 vom 16. Oktober 2014 E. 2; 8C_25/2010 vom 21. Mai 2010 E. 4.2.2).
3.
Der Beschwerdeführer wendet im Wesentlichen ein, das kantonale Gericht handle willkürlich, wenn es ohne eine stichhaltige Begründung und trotz Vorliegens einer ordnungsgemäss geführten Buchhaltung für die Bestimmung des Invalideneinkommens nicht auf die jährlichen Geschäftsabschlüsse - mit teilweise negativen Ergebnissen - abstellen würde. Die vorinstanzliche Entscheidung, stattdessen einen Prozentvergleich durchzuführen, sei zudem aus Plausibilitätsüberlegungen unhaltbar: Unter Berücksichtigung eines Valideneinkommens von etwa Fr. 550'000.- bedingte der von der Vorinstanz ermittelte Invaliditätsgrad von 55 % ein Invalideneinkommen von ca. Fr. 275'000.-, was aufgrund der präsentierten Zahlen der Geschäftsabschlüsse völlig illusorisch sei.
3.1. Entgegen den Einwänden in der Beschwerde begründete die Vorinstanz sehr wohl, weshalb sie in Bezug auf das Invalideneinkommen nicht auf die Geschäftsabschlüsse der Jahre 2009 bis 2014 abstellte und stattdessen einen Prozentvergleich durchführte. Namentlich führte sie aus, die erheblich schwankenden Gewinne und Verluste in den Jahren 2009 (Fr. 122'984.-), 2010 (Fr. 51'748.-), 2011 (Fr. -51'646.-), 2012 (Fr. -32'758.-), 2013 (Fr. -145'815.-) und 2014 (Fr. 23'607) seien weder auf tiefem Niveau stabil gewesen noch hätten sie sich kontinuierlich in die eine oder andere Richtung entwickelt. Es leuchte nicht ein, dass diese Schwankungen ausschliesslich durch die Gesundheitsbeeinträchtigung des Beschwerdeführers verursacht worden sein sollten.
3.2. Gestützt auf die festgestellten Schwankungen in den Geschäftsabschlüssen ist die Vorinstanz zu Recht davon ausgegangen, es sei ein Prozentvergleich vorzunehmen, weil sich das Invalideneinkommen ziffernmässig nicht genau ermitteln lasse. Der Prozentvergleich zeitigt - auch unter den vom Beschwerdeführer angestrengten Plausibilitätsüberlegungen - bei den gegebenen Umständen tatsächlich als einzige Invaliditätsbemessungsmethode ein korrektes Ergebnis. So ist in Übereinstimmung mit dem kantonalen Gericht davon auszugehen, dass die schwankenden Geschäftsergebnisse 2009 bis 2014 zu wesentlichen Teilen invaliditätsfremd sind, korrelieren diese doch - weder zeitgleich noch verzögert - mit den attestierten Arbeitsunfähigkeiten (vgl. dazu E. 2.1 hievor). Wie die PK SAV in ihrer Vernehmlassung zutreffend ausführte, ist bereits der massive Gewinneinbruch von 2008 auf 2009 (gemäss Feststellungen des kantonalen Gerichts von Fr. 481'622.- auf Fr. 122'984.-) einzig mit Blick auf die attestierten Arbeitsunfähigkeiten nicht nachvollziehbar: Der Beschwerdeführer, welcher im Rahmen der Begutachtung vom 11. November 2014 gegenüber Dr. med. B._ ausgeführt hatte, kognitive Einschränkungen erstmals im November 2009 bemerkt zu haben, war unbestritten bis Ende Oktober 2009 vollständig arbeitsfähig. Dies lässt keinen anderen Schluss zu, als dass auch der damalige Gewinneinbruch wesentlich oder gar überwiegend auf krankheitsfremden Faktoren basierte. Es kann zur Ermittlung des Invalideneinkommens nicht auf die Buchhaltung abgestellt werden, woran deren ordnungsgemässe Führung nichts ändert.
Gründe, weshalb der Beschwerdeführer ausser Stande sein sollte, trotz einer unbestrittenen Restarbeitsfähigkeit von 45 % in angestammter Tätigkeit als selbständiger Anwalt ein entsprechendes oder gar, wie behauptet, überhaupt ein Invalideneinkommen zu erzielen, sind nicht ersichtlich. Es werden auch keine solchen geltend gemacht. Deshalb - und weil der Versicherte selber einen Berufswechsel für unzumutbar hält - erübrigen sich Weiterungen dazu, ob das Invalideneinkommen allenfalls gestützt auf Tabellenlöhne der vom Bundesamt für Statistik herausgegebenen Lohnstrukturerhebungen (LSE) zu ermitteln wäre. Nicht näher einzugehen ist schliesslich auch auf den Einwand, in Rahmen eines allfälligen Verfahrens mit der Pensionskasse sei zu befürchten, diese würde unter Anrechnung eines zumutbaren Einkommens gegebenenfalls lediglich eine gekürzte Invalidenrente ausbezahlen. Diese Gesichtspunkte bilden nicht Gegenstand des hier zu beurteilenden vorinstanzlichen Entscheides.
4.
In Übereinstimmung mit der Vorinstanz ist anhand eines Prozentvergleichs davon auszugehen, dass aus der um 55 % eingeschränkten Arbeitsfähigkeit eine Erwerbseinbusse beziehungsweise ein Invaliditätsgrad von 55 % resultiert. Es erübrigen sich Weiterungen zu den Einwänden betreffend die Höhe des Valideneinkommens.
5.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, der Pensionskasse Schweizerischer Anwaltsverband (PK SAV), dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 10. April 2017
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Williner