Faits : A. A.a. A.B._, dont la famille exploitait depuis 1976 une société ayant la raison sociale « C._ SA », est actif en ville de ... dans le commerce de maroquinerie depuis les années 1980, que ce soit en tant qu'associé d'une société en nom collectif formée avec son père ou en tant que titulaire d'entreprises individuelles. Dès l'année 1988, A.B._ a chargé A._, expert-comptable diplômé, d'établir toute la comptabilité et les déclarations fiscales afférentes à ses diverses activités. Jusqu'au printemps 2002, B.B._, alors épouse de A.B._, s'occupait des tâches administratives relatives aux entreprises individuelles de son époux, payait les factures et les salaires, alors qu'il appartenait à A._ de saisir la comptabilité. Après son divorce en 2002 d'avec A.B._, la précitée a été remplacée pour l'accomplissement desdites tâches par D._, qui est la mère de A.B._. Jusqu'en 2000, A._, se rendait au moins une fois par an dans les bureaux de A.B._ pour y dresser les comptes de ce dernier. Entre 2000 et 2002, A._ ne s'est plus rendu dans les locaux de A.B._; il n'a plus pris contact avec B.B._ ni sollicité de pièces comptables. Il a ainsi été constaté qu'il n'a pas établi la comptabilité de A.B._ pour les années 2000 à 2002 et qu'il n'a pas déposé les déclarations fiscales du prénommé afférentes à ces années. Concernant sa rémunération, A._ a déclaré qu'il n'avait pas le temps d'envoyer de notes d'honoraires à A.B._ et qu'il appelait ce dernier lorsqu'il avait besoin d'un versement, fixé ordinairement à 5'000 fr. A.b. A défaut d'avoir reçu la déclaration d'impôts de A.B._ concernant l'année 2000, l'administration fiscale cantonale de Genève (AFC) l'a imposé à hauteur de 3'499 fr. pour l'impôt cantonal et communal (ICC) en fonction d'un revenu annuel imposable de 25'000 fr. Jugeant ce montant anormalement bas, A.B._ a fait part de son inquiétude à A._. Dès 2003, A._ a sous-traité la tâche d'établir la comptabilité des sociétés de A.B._ à la société E._, soit pour elle à la comptable F._, qui a traité ce dossier entre 2002 et 2006. En 2007, A._ a sous-traité le même dossier à la fiduciaire G._. Le fisc genevois a notifié à A.B._ des bordereaux d'impôts provisoires pour les années 2001, 2002 et 2003, sur la base desquels celui-ci a payé des montants de respectivement 8'999 fr., 4'191 fr. et 4'760 fr. Le 24 mars 2006, l'AFC a informé A.B._ qu'elle ouvrait à son encontre une procédure de rappel d'impôts cantonaux et communaux et de l'impôt fédéral direct (IFD) portant sur les années 2001 et 2002. A.B._ a résilié le contrat qui le liait à A._ à une date indéterminée entre la fin 2006 et 2007. Le 12 octobre 2007, l'AFC a notifié à A.B._ pour l'année 2001 un supplément d'impôts IFD de 77'398 fr., majoré d'intérêts de retard de 12'726 fr.60, et un supplément d'impôts ICC de 204'227 fr.10, majoré d'intérêts de 27'394 fr.50. Elle a également requis des montants supplémentaires de 72'779 fr.85, majorés d'intérêts de retard de 8'901 fr.40, pour l'IFD 2002, et de 191'041 fr.95, majorés d'intérêts de 18'398 fr.15, pour l'ICC 2002. Le revenu net de A.B._ retenu par le fisc en 2001 se montait à 882'897 fr., alors que dans la comptabilité établie rétrospectivement un montant de 646'769 fr. figurait à ce titre. Les chiffres retenus pour l'année 2002 n'ont pas été constatés. En sus, le fisc a infligé à A.B._ une amende de 112'633 fr. pour les IFD éludés en 2001 et 2002, plus une amende de 296'451 fr. pour les ICC éludés en 2001 et 2002. Il a justifié les amendes par le fait notamment que le contribuable s'était laissé taxer d'office sur des montants nettement inférieurs à sa situation réelle. Le fisc genevois a réclamé à A.B._ un supplément d'impôts ICC et IFD pour les années 2001 à 2004 se montant en tout à 1'504'999 fr. Il a été retenu que le précité avait réalisé des revenus imposables de 977'974 fr. en 2003, de 1'579'452 fr. en 2004, de 773'010 fr. en 2005 et de 779'038 fr. en 2006, alors que A._ avait indiqué dans les comptes de A.B._ relatifs aux mêmes années que ce dernier avait subi une perte de 139'076 fr. en 2003 et réalisé des revenus nets de 239'953 fr. en 2004, de 195'658 fr. en 2005 et de 269'509 fr. en 2006. A.c. A.B._ a fait savoir à A._ qu'il le tenait pour responsable des mauvais établissements et de ses comptes et de ses déclarations d'impôts, qui ont conduit le fisc à prononcer des amendes à son endroit et à lui réclamer des intérêts moratoires. Le 24 mars 2007, A._ a adressé pour la première fois à A.B._ des relevés de ses honoraires et frais entre 1998 et 2006 ainsi que des factures pour les années 2001 à 2007, datées rétroactivement du 31 décembre de chaque année; il a chiffré ses honoraires à 5'595 fr. en 2001, à 34'200 fr. en 2002, à 111'409 fr.05 en 2003, à 103'193 fr.80 en 2004, à 49'022 fr.55 en 2005, à 66'281 fr.60 en 2006 et à 66'749 fr.10 en 2007, ce qui donne un montant total de 436'451 fr.10 pour ces sept années. Le taux horaire des honoraires ainsi facturés, arrêté à 140 fr. en 1988 et 1989, a augmenté par la suite chaque année de 5 fr., sans qu'une explication ne soit fournie, jusqu'à atteindre 225 fr. en 2003 et 2004. Il a été retenu que A.B._ a versé à A._ un total d'honoraires de 185'000 fr., dont 145'000 fr. l'ont été pour les services rendus entre 2000 et 2006/2007. A.d. En octobre 2006, A.B._ a accordé à A._ un prêt sans intérêts de 80'000 fr.; le prêteur l'a dénoncé au remboursement le 5 mai 2008. A._ n'a pas remboursé le prêt, dont il s'est reconnu débiteur. B. Par demande du 5 octobre 2010, A.B._ (demandeur) a ouvert action contre A._ (défendeur) devant les autorités genevoises; le demandeur a réclamé paiement de 409'084 fr., plus intérêts à 5% dès le 12 octobre 2007, correspondant au montant des amendes fiscales, de 67'420 fr.60, avec les mêmes intérêts, représentant les intérêts de retard dus au fisc, et de 80'000 fr., avec intérêts à 5% dès le 15 avril 2008, en remboursement du prêt d'argent consenti au défendeur. Le défendeur s'est opposé à l'action; il a soutenu que le demandeur, par sa négligence ou celle de son ex-épouse, l'avait empêché d'établir les comptes et les déclarations fiscales afférents aux années 2000 à 2003, mais a admis devoir remboursement du prêt de 80'000 fr. Le défendeur a formé une reconvention et requis versement de ses honoraires pour les années 2000 à 2007, par 436'451 fr.10, dont il déduisait le montant de 145'000 fr. déjà payé par le demandeur. Le demandeur a conclu au rejet de la reconvention. Il a fait valoir qu'il s'était acquitté de 30 demandes de provision de 5'000 fr. entre 2000 et 2007 et qu'il n'avait jamais été convenu entre parties qu'il verserait des frais supplémentaires. Par jugement du 3 juin 2013, le Tribunal de première instance de Genève a condamné le défendeur à verser au demandeur le montant de 80'000 fr. au titre du remboursement du prêt accordé en octobre 2006, toutes autres conclusions des parties étant rejetées. Le tribunal a débouté le demandeur de ses conclusions en dommages-intérêts pour violation du contrat de mandat passé entre les plaideurs. Il a également rejeté en totalité les conclusions reconventionnelles du défendeur, au motif que l'activité qu'il avait déployée pour son mandant n'était pas exempte de critiques et qu'il n'y avait aucun élément qui étaierait un tant soit peu la prétention du défendeur à obtenir une rémunération complémentaire à celle déjà encaissée, laquelle correspondait du reste à des honoraires annuels de plus de 19'000 fr. pour la période considérée. Tant le demandeur que le défendeur ont appelé de ce jugement; ils ont repris tous deux leurs conclusions de première instance, le défendeur réduisant toutefois ses conclusions d'une somme de 6'456 fr. en capital. Par arrêt du 11 avril 2014, la Chambre civile de la Cour de justice du canton de Genève a confirmé en tous points le jugement attaqué. C. A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut à ce que le demandeur soit condamné à lui verser les montants de 38'477 fr.75 avec intérêts à 5% dès le 1er juin 2007 et de 261'656 fr.30 avec intérêts à 5% dès le 1er mai 2009. Il requiert qu'il lui soit donné acte qu'il reconnaît devoir à sa partie adverse un montant de 80'000 fr. avec intérêts à 5% du 15 avril 2008 au 22 mars 2011, soit un montant de 91'333 fr.33, à titre de restitution du prêt alloué, qu'il lui soit donné acte qu'il excipe de la compensation, à concurrence de cette somme, avec sa reconvention et qu'il soit dit qu'après compensation le demandeur soit déclaré son débiteur de la somme de 208'800 fr.72 avec intérêts à 5% dès le 1er mai 2009. L'intimé conclut principalement à l'irrecevabilité du recours, subsidiairement à son rejet. Le recourant a répliqué par une simple lettre d'une page.