Faits :
A.
A.a. La société Z._ SA (ci-après: l'employeuse) était liée à X._ (ci-après: le travailleur) par un "contrat de collaboration" signé le 9 août 2000.
Le 29 février 2008, les parties ont conclu une convention dactylographiée selon laquelle il avait été décidé, d'un commun accord entre elles, de mettre un terme au contrat "avec effet de ce jour"; le travailleur était autorisé à conserver 318 dossiers clients, sur lesquels l'employeuse renonçait à son droit de propriété. Le chiffre de 318 était apposé à la main et assorti de la mention manuscrite suivante: "sous réserve de quelques dossiers en cours non encore listés".
A.b. En mai 2008, le travailleur a requis le transfert des portefeuilles de clients dont il pensait qu'ils lui avaient été cédés par l'employeuse. Cette dernière n'a pas procédé au transfert.
A.c. Par courrier du 25 janvier 2011, le travailleur a élevé diverses prétentions vis-à-vis de l'employeuse, dont une indemnité pour licenciement abusif liée à la "non-reconnaissance du contrat de travail".
B.
B.a. Après avoir saisi l'autorité de conciliation le 1 er avril 2011, le travailleur (ci-après: le demandeur) a déposé une demande devant le Tribunal des prud'hommes du canton de Genève. Il concluait à la délivrance de divers documents et au paiement de 950'000 fr., soit 75'000 fr. bruts à titre de salaires pour les mois de mars à mai 2008, 150'000 fr. à titre d'indemnité pour licenciement abusif correspondant à six mois de salaire, 75'000 fr. à titre d'indemnité de vacances, 125'000 fr. à titre d'heures supplémentaires impayées, 75'000 fr. à titre de commissions et 450'000 fr. à titre d'indemnité pour les dossiers clients non transférés.
Dans sa demande, le travailleur n'a consacré aucun allégué aux raisons de conclure la convention cessant les rapports contractuels avec effet immédiat. Il a simplement allégué en réplique que l'employeuse avait mis fin abruptement aux rapports contractuels le 29 février 2008, sans juste motif. L'employeuse (ci-après: la défenderesse) a contesté tout licenciement en faisant valoir que les parties avaient d'un commun accord signé une convention comportant des concessions réciproques. Elle n'a pas non plus indiqué quelles étaient les raisons de mettre fin immédiatement au contrat.
B.b. Statuant par jugement du 4 août 2015, le Tribunal des prud'hommes a considéré que la défenderesse avait imposé au demandeur un licenciement immédiat injustifié. Il l'a condamnée à remettre au demandeur des certificats annuels de salaires (ch. 6 du dispositif) et à lui verser 39'292 fr. 55 bruts à titre de commissions et d'indemnité salariale (ch. 3), plus 85'948 fr. 80 nets à titre d'indemnité pour congé injustifié (ch. 5). Le Tribunal a invité la partie qui en avait la charge à opérer les déductions sociales légales usuelles (ch. 4) et a rejeté toutes autres conclusions (ch. 7).
B.c. Les deux parties ont fait appel. Le demandeur a conclu à la réforme du chiffre 7 du dispositif du jugement attaqué, en ce sens que la défenderesse devait être condamnée à lui verser 450'000 fr. pour les dossiers clients non transférés. Par appel joint, la défenderesse a requis l'annulation du chiffre 5 du dispositif.
Par arrêt du 3 mai 2016, la Chambre des prud'hommes de la Cour de justice genevoise a annulé le chiffre 5 du dispositif de la décision attaquée et, statuant à nouveau sur ce point, a débouté le demandeur de ses conclusions tendant au versement d'une indemnité de six mois de salaire. Elle a confirmé le chiffre 7 du dispositif.
C.
Le demandeur a interjeté un recours en matière civile au Tribunal fédéral, en concluant principalement à ce que la défenderesse soit condamnée à lui verser 85'948 fr. 80 nets et 450'000 fr., ou tout autre montant inférieur apprécié en équité, "à titre de prestation complémentaire résultant de la fin des rapports de travail".
L'autorité intimée a déclaré se référer à son arrêt.
La défenderesse a conclu à l'irrecevabilité du recours et, sur le fond, à son rejet.
Considérant en droit :
1.
Interjeté par le demandeur qui a partiellement succombé dans ses conclusions et a de ce fait la qualité pour recourir (art. 76 al. 1 LTF), dirigé contre un arrêt rendu en matière civile (art. 72 al. 1 LTF) par un tribunal supérieur statuant sur recours (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse dépasse le seuil de 15'000 fr. requis pour les causes de droit du travail (art. 74 al. 1 let. a LTF), le recours en matière civile est recevable sur le principe, étant précisé qu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). "Manifestement inexactes" signifie ici "arbitraires" (ATF 140 III 115 consid. 2 p. 117; 135 III 397 consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
La critique de l'état de fait retenu est soumise au principe strict de l'invocation énoncé par l'art. 106 al. 2 LTF (ATF 140 III 264 consid. 2.3 p. 266 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (ATF 140 III 16 consid. 1.3.1 p. 18 et les références). Si elle souhaite obtenir un complètement de l'état de fait, elle doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes, en conformité avec les règles de la procédure, les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (ATF 140 III 86 consid. 2 p. 90). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (ATF 140 III 16 consid. 1.3.1 p. 18).
En l'espèce, le demandeur - qui prétend d'une part à une indemnité de 450'000 fr. en raison de l'inexécution de la convention du 29 février 2008 (cf. consid. 4 infra), d'autre part à une indemnité de 85'948 fr. 80 fondée sur l'art. 337c al. 3 CO (cf. consid. 5 infra) - se borne à présenter pêle-mêle, en discutant ces deux questions juridiques, divers éléments factuels de manière purement appellatoire et sans aucunement se conformer aux exigences rappelées ci-dessus. Dans cette mesure, le recours se révèle irrecevable.
2.2. Le Tribunal fédéral applique d'office le droit (art. 106 al. 1 LTF) à l'état de fait constaté dans l'arrêt cantonal. Cela n'implique pas qu'il examine toutes les questions juridiques qui pourraient se poser, à l'instar d'un juge de première instance. Eu égard à l'obligation de motiver imposée par l'art. 42 al. 2 LTF, l'autorité de céans ne traite que les questions qui sont soulevées devant elle par les parties, à moins que la violation du droit soit manifeste (ATF 140 III 115 consid. 2 p. 116; 140 III 86 consid. 2).
3.
3.1. Aux termes de l'art. 341 al. 1 CO, le travailleur ne peut pas renoncer, pendant la durée du contrat et durant le mois qui suit la fin de celui-ci, aux créances résultant de dispositions impératives de la loi ou d'une convention collective. Selon la jurisprudence, cette norme prohibe la renonciation unilatérale du travailleur, mais ne s'oppose pas à un arrangement comportant des concessions réciproques - d'importance comparable -, pour autant qu'il s'agisse nettement d'un cas de transaction (Aufhebungsvertrag; ATF 136 III 467 consid. 4.5 p. 473; 118 II 58 consid. 2b p. 61; arrêt 4A_563/2011 du 19 janvier 2012 consid. 4.1). Les parties restent libres de rompre le contrat d'un commun accord pour une date précise, pour autant qu'elles ne cherchent pas à détourner par ce biais une disposition impérative de la loi (ATF 119 II 449 consid. 2a).
Une résiliation conventionnelle ne doit être admise qu'avec retenue. Elle suppose notamment que soit prouvée sans équivoque la volonté des intéressés de se départir du contrat (arrêt 4A_362/2015 du 1 er décembre 2015 consid. 3.2 et les arrêts cités). Lorsque l'accord est préparé par l'employeur, il faut en outre que le travailleur ait pu bénéficier d'un délai de réflexion et n'ait pas été pris de court au moment de la signature (arrêts 4A_103/2010 du 16 mars 2010 consid. 2.2; 4C.51/1999 du 20 juillet 1999 consid. 3c).
3.2. L'accord de résiliation qui ne satisfait pas aux conditions susmentionnées ne lie pas les parties. Jurisprudence et doctrine considèrent qu'il faut faire abstraction dudit accord et appliquer, en ses lieu et place, les dispositions relevant du régime légal ordinaire, c'est-à-dire les règles du Code des obligations ou d'une convention collective de travail qui régissent l'extinction des rapports de travail, seul étant disputé le point de savoir si ceux-ci prennent fin, nonobstant le défaut de validité de l'accord en question, ou s'ils se poursuivent de ce fait sous réserve du cas particulier visé par l'art. 336c al. 2 CO. En d'autres termes, il y a lieu de replacer les parties dans la situation qui serait la leur si elles n'avaient pas conclu l'accord de résiliation non valable (arrêt 4A_495/2007 du 12 janvier 2009 consid. 4.3.1.2 et les références citées).
Lorsque, comme c'est généralement le cas, il a été mis fin aux rapports de travail, au moyen de l'accord inefficace, avant l'expiration du délai de résiliation, il faut se demander si l'employeur aurait résilié le contrat de manière ordinaire ou avec effet immédiat dans l'hypothèse où l'accord de résiliation n'eût pas été conclu. Suivant la réponse apportée à cette question, le travailleur pourra soit faire valoir une prétention de salaire jusqu'à la fin du délai de résiliation ordinaire, le cas échéant pour la durée prolongée découlant de l'application des art. 324a et 336c CO, soit réclamer des dommages-intérêts et une indemnité fondés sur l'art. 337c al. 1 et 3 CO. C'est au travailleur qui soutient que son employeur l'aurait licencié avec effet immédiat en pareille hypothèse d'en apporter la preuve (arrêt précité 4A_495/2007, ibidem).
4.
4.1. Le demandeur conteste d'abord le rejet de sa prétention en allocation d'une indemnité de 450'000 fr., basée sur l'inexécution de la clause lui conférant le droit de conserver certains dossiers clients, clause insérée dans la convention du 29 février 2008, dont les juges cantonaux auraient selon lui dû reconnaître la validité partielle.
A cet égard, les juges cantonaux ont exposé que le demandeur avait plaidé avec succès l'invalidité de la convention du 29 février 2008, de sorte qu'il n'était pas fondé à en tirer l'avantage lié à la concession de la défenderesse, dont il était désormais acquis qu'elle n'était pas suffisante pour admettre la validité de cet accord. Il n'y avait ainsi pas place, dans ce cadre, pour une nullité partielle qui n'affecterait pas la clause précitée, au regard de l'économie de la convention.
4.2.
4.2.1. Il est constant que les parties ont mis fin à leurs rapports contractuels avec effet immédiat, par une convention datée du 29 février 2008, laquelle comportait notamment une clause selon laquelle le demandeur était autorisé à conserver 318 dossiers clients, sur lesquels la défenderesse renonçait à son droit de propriété.
4.2.2. Le Tribunal des prud'hommes a considéré que la convention du 29 février 2008 n'était pas valable, pour les motifs suivants: le demandeur n'avait pas la volonté de résilier son contrat de travail avec la défenderesse; il avait en outre été pris de court lors de la signature et n'avait pas bénéficié du délai de réflexion nécessaire; enfin, si la convention était interprétée comme le proposait la défenderesse - à savoir qu'elle permettait au demandeur de conserver les données de certains clients, mais pas les mandats d'assurance les concernant, de sorte qu'il ne pouvait pas toucher les commissions y relatives -, la défenderesse n'avait accordé au demandeur aucune concession justifiant qu'il ne bénéficie notamment d'aucun délai de congé et se retrouve de façon immédiate sans source de revenu.
4.2.3. Au stade de l'appel, le constat de l'invalidité de la convention n'a pas été remis en cause par les parties, de sorte qu'il n'y a pas lieu d'y revenir. Le demandeur reproche toutefois à la cour cantonale de ne pas avoir examiné la question de la validité partielle de la convention, comme il l'avait dûment requis. Reprenant les références doctrinales relatives à la nullité partielle d'un contrat selon l'art. 20 al. 2 CO qu'il avait soumises à la cour cantonale, le demandeur soutient qu'il y aurait lieu de constater l'invalidité de la convention en ce qu'elle le privait de ses droits résultant du contrat de travail, mais de reconnaître sa validité en ce qu'elle lui donnait le droit à une "rémunération complémentaire sous la forme d'une remise des dossiers pour une valeur de CHF 450'000.-".
4.2.4. L'art. 20 al. 2 CO prévoit que si le contrat n'est vicié que dans certaines de ses clauses, ces clauses sont seules frappées de nullité, à moins qu'il n'y ait lieu d'admettre que le contrat n'aurait pas été conclu sans elles. Conformément à cette disposition, le juge doit rechercher la volonté hypothétique des parties, c'est-à-dire déterminer ce qu'elles auraient convenu de bonne foi si elles avaient envisagé la possibilité de la nullité partielle (ATF 120 II 35 consid. 4b). Il faut pouvoir admettre que le contrat aurait été conclu par les parties même sans la ou les clauses frappées de nullité, qui doivent pouvoir être détachées du contrat sans affecter l'ensemble (TERCIER/PICHONNAZ, Le droit des obligations, 5 e éd. 2012, n. 509 s.). Il s'agit là d'une question de droit; le Tribunal fédéral est cependant lié par les constatations de fait sur lesquelles l'autorité précédente s'est fondée pour déterminer cette volonté hypothétique (ATF 120 II 35 consid. 4b; 107 II 216 consid. 3b). En l'absence d'une intention établie des parties, on retient la position de personnes loyales et honnêtes placées dans la même situation, en procédant à une interprétation selon le principe de la confiance (TERCIER/PICHONNAZ, op. cit., n. 510; arrêt 4A_133/2012 du 28 juin 2012 consid. 2.3; cf. ATF 124 III 57 consid. 3c p. 60).
4.2.5. En l'espèce, on peut se demander quel est le sens de la clause habilitant le demandeur à conserver 318 dossiers clients, sur lesquels la défenderesse renonçait à son droit de propriété. Le demandeur soutient que cette clause obligeait la défenderesse à lui céder 318 mandats en cours, et avec eux le droit au versement des commissions y relatives. La défenderesse plaide quant à elle que cette clause visait uniquement la conservation des dossiers physiques de clients - contenant des informations sur lesdits clients - et qu'il incombait au demandeur de faire les démarches nécessaires auprès des 318 clients dont il avait pu conserver les dossiers pour leur faire conclure de nouveaux contrats, ce qu'il n'avait pas fait.
Point n'est toutefois nécessaire de trancher cette question. En effet, faire droit au demandeur - qui requiert une indemnité correspondant aux commissions qu'il aurait pu percevoir sur les primes versées par les 318 clients concernés - supposerait nécessairement d'interpréter la clause dans le sens plaidé par le demandeur, à savoir que la défenderesse lui aurait cédé le droit de percevoir des commissions qu'il évalue à 450'000 fr. Or, en pareille hypothèse, il est manifeste que la défenderesse, respectivement toute personne raisonnable placée dans la même situation, si elle avait envisagé la nullité de la convention du 29 février 2008 quant à l'accord sur la résiliation immédiate du contrat de travail, n'aurait pas accepté de conclure uniquement un accord par lequel elle renonçait au profit du demandeur à percevoir des commissions pour un montant total de plusieurs centaines de milliers de francs. Cette constatation s'imposerait même dans l'hypothèse - non réalisée - où il faudrait prendre en compte les éléments factuels invoqués par le demandeur en marge de l'état de fait retenu par la cour cantonale (cf. consid. 2.1 supra).
4.3. En bref, c'est à bon droit que la cour cantonale a refusé d'allouer au demandeur une indemnité de 450'000 fr. qu'il fondait sur la prémisse juridique erronée d'une validité partielle de la convention du 29 février 2008.
5.
5.1. Le demandeur conteste ensuite le rejet de sa prétention en allocation d'une indemnité de 85'948 fr. 80 pour licenciement immédiat injustifié (art. 337c al. 3 CO).
A cet égard, les juges cantonaux ont exposé que dans sa demande, le travailleur n'avait pas allégué de faits qui auraient conduit, selon lui, la défenderesse à mettre fin avec effet immédiat aux rapports contractuels; il n'avait pas non plus avancé de fondement juridique à l'indemnité de six mois de salaire dont il requérait le paiement, étant rappelé que dans son courrier du 25 janvier 2011, il évoquait le caractère abusif de son congé. Dans sa réplique, le demandeur avait fait valoir qu'il avait été victime d'un licenciement immédiat, sans toutefois le qualifier d'injustifié ni alléguer aucun fait en lien avec l'existence ou la non-existence de justes motifs; il n'avait pas non plus fait de déclaration au Tribunal à ce sujet, se bornant à préciser qu'il était autorisé à reprendre une activité immédiatement après le 29 février 2008. Or, une telle faculté n'était pas incompatible avec une résiliation ordinaire du contrat, assortie d'une libération de l'obligation de travailler durant le délai de congé et d'une autorisation d'exercer une activité indépendante pendant le préavis. Elle n'était pas évocatrice d'une volonté de rupture immédiate pour un motif quel qu'il fût, dont le caractère se révélerait infondé. La prétendue pression exercée par la défenderesse, à supposer qu'elle fût avérée, ne serait pas non plus pertinente dans le cadre de l'examen de l'existence ou non de justes motifs. Enfin, il ne pouvait être présumé, sans aucun élément de preuve à l'appui, que le contexte général prévalant en 2008, dans lequel les parties ou à tout le moins la défenderesse ne s'estimaient - à tort - pas liées par un contrat de travail, serait en lui-même constitutif de l'absence d'un juste motif de congé immédiat. Les juges cantonaux ont ainsi constaté que le demandeur, qui supportait le fardeau de prouver que son employeuse l'aurait licencié avec effet immédiat si les parties n'avaient pas conclu l'accord de résiliation, avait échoué à faire cette démonstration, de sorte que sa conclusion en paiement de 85'948 fr. 80 devait être rejetée.
5.2.
5.2.1. Lorsque, comme en l'espèce, il a été mis fin aux rapports de travail, au moyen de l'accord inefficace, avant l'expiration du délai de résiliation, il faut se demander si l'employeur aurait résilié le contrat de manière ordinaire ou avec effet immédiat dans l'hypothèse où l'accord de résiliation n'aurait pas été conclu. Suivant la réponse apportée à cette question, le travailleur pourra soit faire valoir une prétention de salaire jusqu'à la fin du délai de résiliation ordinaire, soit réclamer des dommages-intérêts et une indemnité fondés sur l'art. 337c al. 1 et 3 CO; c'est au travailleur qui soutient que son employeur l'aurait licencié avec effet immédiat en pareille hypothèse d'en apporter la preuve (cf. consid. 3.2 supra).
5.2.2. En l'occurrence, le demandeur reproche à la cour cantonale d'avoir réduit la problématique à la question du fardeau de la preuve, qui ne serait pas pertinente au vu de la nature particulière du cas d'espèce; du fait que la défenderesse aurait longtemps persisté à nier avoir été liée par un contrat de travail, il ne serait pas possible de rapporter une preuve stricte et, comme celle-ci porterait sur un fait négatif, il incomberait à la défenderesse de démontrer qu'elle aurait résilié le contrat pour l'échéance ordinaire si la convention du 29 février 2008 n'avait pas été conclue. Toutefois, on ne discerne pas en quoi les circonstances du cas d'espèce, telles que plaidées par le demandeur, justifieraient de ne pas appliquer les règles sur le fardeau de la preuve, voire de renverser ce fardeau.
5.2.3. Pour le surplus, le raisonnement de la cour cantonale et la conclusion selon laquelle le demandeur n'a pas prouvé que son employeuse l'aurait licencié avec effet immédiat si les parties n'avaient pas conclu l'accord de résiliation (cf. consid. 5.1 supra) échappent au grief d'arbitraire, tant au regard des faits constatés par cette autorité qu'au regard des éléments invoqués par le recourant, qui auraient prétendument dû être pris en compte (cf. consid. 2.1 supra). En effet, comme elle le relève à raison, la défenderesse n'a jamais allégué de juste motif de résiliation immédiate ou de faute du travailleur; on ne voit ainsi pas quel motif elle aurait eu de procéder à un licenciement immédiat, et le demandeur lui-même n'a nullement allégué un tel motif. Par ailleurs, les éléments mis en avant par le demandeur ne démontrent nullement que la défenderesse, dans l'hypothèse où l'accord de résiliation n'aurait pas été conclu, aurait résilié le contrat avec effet immédiat; ces éléments sont tout aussi bien compatibles avec une résiliation ordinaire du contrat, assortie d'une libération de l'obligation de travailler durant le délai de congé et d'une autorisation d'exercer une activité indépendante pendant le préavis.
6.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable (cf. consid. 2.1 supra).
Vu l'issue du recours, les frais de la présente procédure seront mis à la charge du demandeur (art. 66 al. 1 LTF). Celui-ci versera en outre à la défenderesse une indemnité de 9'000 fr. à titre de dépens (art. 68 al.1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 8'000 fr., sont mis à la charge du demandeur.
3.
Le demandeur versera à la défenderesse une indemnité de 9'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des prud'hommes de la Cour de justice du canton de Genève.
Lausanne, le 31 octobre 2016
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Kiss
La Greffière: Monti