Faits : A. A.a. Dès le 2 décembre 1997, X._ a travaillé en qualité de consultant pour A._ SA, société avec siège à Genève poursuivant le but de fournir des services de consultants à la direction de sociétés, ainsi que de traiter diverses affaires (représentation générale et courtage) notamment en matière d'assurances. Le capital social de A._ SA était constitué de 10'000 actions au porteur d'une valeur nominale de 10 fr. Z._ en était l'actionnaire majoritaire et l'administrateur. A.b. X._ est devenu associé et actionnaire de la société le 1er mai 2001 en achetant 700 actions. Le 29 juin 2001, il a signé une convention d'actionnaires (ci-après également: la convention) qui prévoit à son art. 26: "Tout actionnaire-sortant s'engage à céder aux autres actionnaires les actions qu'il détient au jour de l'échéance de son contrat de travail, et ce pour le prix qui sera arrêté en application de la méthode figurant à l'annexe 3 de la présente convention. (...). Le Conseil d'Administration de la société s'engage, dans un délai de huit jours à compter de l'échéance du contrat de travail ou de la cessation de l'activité de l'actionnaire-sortant, à solliciter du réviseur de A._ SA l'évaluation, en application de la méthode de calcul figurant à l'annexe 3, du prix de ses actions, étant précisé que le prix qui sera ainsi arrêté s'imposera au vendeur et à/aux acquéreur (s) sans recours possible. Dans un délai de 30 jours à compter de la réception par A._ SA, ses actionnaires et/ou l'actionnaire sortant, de l'évaluation par le réviseur, l'actionnaire-sortant s'engage à mettre à la disposition des actionnaires ayant manifesté leur intention de faire usage de leur droit d'emption l'intégralité de ses actions contre l'engagement de ce (s) dernier (s) de payer le prix arrêté par le réviseur. A défaut pour l'actionnaire-sortant de s'exécuter, il devra payer aux autres actionnaires ayant manifesté leur intention de faire usage de leur droit d'emption, au prorata des actions de A._ SA que ces derniers détiennent, une somme de Frs 100'000.- au titre de clause pénale. Les actionnaires restants ayant manifesté leur intention de faire usage de leur droit d'emption pourront, en outre et cumulativement, agir contre l'actionnaire-sortant en exécution de son engagement de céder ses actions." L'annexe 3 de la convention, qui décrit la méthode permettant de calculer la valeur des actions, prévoit notamment que le goodwill doit correspondre à un multiple du capital-actions de la société (cf. arrêt de renvoi consid. 3.6.2). A.c. Le 11 mai 2007, X._ a démissionné de son poste de consultant, avec effet au 30 novembre 2007. Par courrier du 26 juillet 2007, Z._ lui a rappelé son devoir de vendre les 700 actions, conformément à l'art. 26 de la convention. Il indiquait que la société s'en portait acquéreuse. Le 9 août 2007, X._ a décliné la proposition de A._ SA. Selon lui, la valeur des actions devait être évaluée au 30 novembre 2007; jusqu'à cette date, il restait propriétaire des 700 actions. Le 21 septembre 2007, Z._ a exercé son droit d'emption sur les 700 actions de X._. Un chèque de 24'010 fr. était joint au courrier. Un bilan intermédiaire au 30 novembre 2007 allait être établi et la valeur des actions serait recalculée à cette même date, l'éventuelle différence en faveur de l'ex-employé étant versée au plus tard le 31 janvier 2008. Le 9 octobre 2007, le conseil de X._ a retourné à Z._ le chèque et l'a sommé de restituer à son mandant le lot des 700 actions au porteur. Le 23 octobre 2007, X._ a offert à Z._ de lui vendre ses actions pour la somme de 200'000 fr. correspondant, selon lui, à la valeur de l'entreprise sur le marché résultant de sa reprise imminente par une société américaine de la branche. Le 31 octobre 2007, Z._ a décliné l'offre et précisé que les certificats d'actions n'avaient pas encore été émis. Par courrier du 2 novembre 2007, X._ a reproché à l'administrateur d'avoir cherché à exercer de manière prématurée son droit d'emption. Il a réclamé l'original des certificats d'actions de A._ SA. Le 15 novembre 2007, Z._ a transmis à l'ex-employé un certificat d'actions représentant les 700 actions au porteur. Par courrier du 5 décembre 2007, l'administrateur a indiqué exercer son droit d'emption sur les actions. Le 8 janvier 2008, il a mis en demeure X._ de mettre à disposition ses 700 actions, lui rappelant la clause pénale conventionnelle d'un montant de 100'000 fr. Un chèque de 7'441 fr. (soit 10 fr. 63 par action) était annexé au courrier. Le 12 février 2008, X._ a décliné l'offre, contestant le calcul établi au 30 novembre 2007. Au surplus, il reprochait à l'administrateur de chercher à diminuer artificiellement la valeur du titre de la société. Le 15 février 2008, l'ex-employé a informé l'administrateur qu'il avait encaissé, à titre d'acompte, le chèque de 7'441 fr. Le 21 août 2008, Z._ a fait une nouvelle proposition à X._. Il lui a indiqué que, en fonction de ses propres remarques, l'organe de révision avait fait un nouveau calcul. Le prix par action ainsi déterminé, qui faisait l'objet d'une attestation du réviseur annexée au courrier, était de 31 fr. 48, soit 22'036 fr. pour les 700 actions. Z._ a invité X._ à lui communiquer les coordonnées de son compte bancaire sur lequel la somme résiduelle de 14'585 fr. (recte: 14'5 9 5 fr.) devait être versée et de lui transmettre le certificat d'actions avant le 29 août 2008. Cette proposition est restée sans suite. A._ SA a été déclarée en faillite le 19 septembre 2011. B. B.a. Le 21 octobre 2008, devant le Tribunal de première instance de Genève, Z._ (l'acheteur) a déposé à l'encontre de l'ex-employé (le vendeur) une action condamnatoire en délivrance des 700 actions (incorporées dans le certificat d'actions) et une action en paiement portant sur le versement de 100'000 fr. à titre de peine conventionnelle. Un jugement conforme a été rendu par défaut et X._ a relevé le défaut. Concluant au rejet de la demande, il a préalablement requis du juge une expertise afin d'évaluer la valeur au 31 décembre 2007 (recte: 30 novembre 2007) du certificat d'actions représentant les 700 actions au porteur de A._ SA. Le Tribunal de première instance a entendu divers témoins qui ont confirmé que la méthode décrite dans l'annexe 3 de la convention d'actionnaires avait toujours été utilisée pour définir le prix des actions. Par courrier du 13 novembre 2009 adressé au tribunal, l'organe de révision a corrigé plusieurs erreurs de calcul de son appréciation précédente (celle ayant conduit à l'offre du 21 août 2008) et elle a revu à la baisse la valeur d'une action, qu'elle a ramené à 11 fr.93 au 30 novembre 2007 (soit 8'351 fr. pour 700 actions). Dans ses calculs, le réviseur ne retient " aucun montant à titre de goodwill vu les résultats de la société ". Z._ a modifié ses conclusions pour tenir compte de la créance du vendeur de 8'351 fr., qui doit être déduite du montant de 100'000 fr. (peine conventionnelle) qui lui est dû. Par jugement du 8 février 2011, le Tribunal de première instance de Genève a admis entièrement les conclusions prises par le demandeur. B.b. Appelant du jugement, le défendeur conteste le calcul du prix des actions, considérant notamment que la valeur du goodwill a été " négligée " par le premier juge et que les résultats comptables sont diminués par toute une série de provisions imposées sans raison par le demandeur. S'agissant de la clause pénale, il soutient que celle-ci ne lui est pas applicable; selon lui, il n'a commis aucune faute en ne remettant pas le certificat d'actions puisqu'il refusait de le remettre sur la base de l'estimation faite à l'époque par Z._ à 10 fr.63 l'action et que, précisément, à la fin de la procédure de première instance, le prix de l'action a été fixé plus haut, soit à 11 fr.93 l'action. Par jugement du 11 mai 2012, la cour cantonale a confirmé que X._ devait remettre le certificat d'actions contre le paiement de 8'351 fr. Elle a par contre réduit le montant de la peine conventionnelle, condamnant X._ à verser à ce titre la somme de 25'000 fr. à Z._. B.c. Par arrêt du 30 octobre 2012 (cause 4A_361/2012) (ci-après: l'arrêt de renvoi), le Tribunal fédéral a admis le recours formé par le défendeur, annulé l'arrêt entrepris et renvoyé la cause à l'autorité cantonale pour nouvelle décision. En substance, la Cour de céans a rappelé que, selon l'art. 26 § 3 de la convention d'actionnaires, le vendeur s'engageait à remettre ses actions (le certificat) à l'acheteur et que celui-ci s'engageait, en contrepartie, à en payer le prix (arrêté par le réviseur), calculé conformément à la méthode convenue entre les parties figurant à l'annexe 3 de la convention (consid. 3.2). S'agissant de l'obligation de l'acheteur, la Cour de céans a considéré que l'organe de révision avait calculé le prix du certificat d'actions en commettant plusieurs erreurs, notamment en retenant une valeur nulle pour le goodwill (ce qui n'était pas conforme à la méthode prévue par les parties), en effectuant son calcul en l'absence de tout bilan audité et en déterminant un bénéfice (très faible) au 30 novembre 2007 sans tenir compte du fait que des provisions avaient été constituées en novembre 2007, puis dissoutes un mois plus tard. L'expertise judiciaire requise par le défendeur (vendeur) était dès lors nécessaire pour déterminer la valeur des actions à la date du 30 novembre 2007 en application de la méthode figurant à l'annexe 3 de la convention d'actionnaires. La cause était dès lors renvoyée à l'autorité précédente pour qu'elle ordonne une expertise judiciaire (consid. 3.6). Le Tribunal fédéral a souligné que le chiffre figurant dans la proposition de l'acheteur du 21 août 2008 ne pouvait être considéré comme un prix calculé par le réviseur conformément à la convention (consid. 3.6.4). C. C.a. Après le prononcé de l'arrêt de renvoi du 30 octobre 2012, le vendeur a pris des conclusions reconventionnelles visant à obtenir le solde du prix de vente de son certificat d'actions (cf. arrêt entrepris let. i p. 8 sur les " conclusions motivées après enquêtes du 12 juin 2015 "). C.b. Par jugement du 30 juin 2016, le Tribunal de première instance de Genève a ordonné l'expertise sollicitée par le défendeur et, se fondant sur celle-ci, il a fixé la valeur du certificat d'actions à 18'923 fr. (soit env. 27 fr.03 par action), le calcul effectué par l'expert n'ayant pas été critiqué par le défendeur. Les premiers juges ont alors observé que l'offre de l'acheteur du 21 août 2008 (soit un montant de 22'026 fr.) était supérieure au prix calculé correctement (conformément à la convention d'actionnaires), que, rétrospectivement, on pouvait retenir que l'acheteur avait offert d'exécuter valablement sa propre obligation (le paiement du prix), que le vendeur ne pouvait pas se prévaloir de l'exception de non-exécution et qu'il devait être condamné à remettre à l'acheteur le certificat d'actions litigieux et à lui verser une peine conventionnelle de 25'000 fr., sous déduction d'un montant de 11'482 fr. représentant le solde du prix des actions (18'923 fr. - l'acompte de 7'441 fr. déjà versé par l'acheteur). C.c. Par arrêt du 7 avril 2017, la Chambre civile de la Cour de justice du canton de Genève, sur appel du vendeur, a confirmé le jugement de première instance. Sur la base de l'expertise judiciaire, les juges cantonaux ont considéré, au fond, que l'acheteur devait verser au vendeur le solde du prix des actions de 11'482 fr.24 (18'923 fr.24 - 7'441 fr.) et que celui-ci devait s'acquitter en faveur de celui-là d'une peine conventionnelle de 25'000 fr. La cour cantonale s'est limitée à opérer une correction quant à la quotité des indemnités de procédure (arrêt entrepris consid. 7.2 p. 18). D. Le vendeur exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 7 avril 2017. Il conclut à sa réforme en ce sens qu'il soit dit que le prix de l'action s'élève à 34 fr.59 (soit 24'213 fr. pour le certificat portant sur 700 actions), qu'il soit constaté que l'acheteur n'a pas valablement et régulièrement exercé son droit d'achat et qu'il soit condamné à lui verser le montant de 24'213 fr., sous déduction de l'acompte de 7'441 fr. déjà remis, et à ce qu'il soit donné acte à l'acheteur de ce qu'il s'engage à lui remettre immédiatement le certificat d'actions en échange du paiement précité. L'intimé (l'acheteur) conclut au rejet du recours et à la confirmation de l'arrêt entrepris. Les parties ont chacune déposé des observations.