Faits:
A. A._ a ouvert action en libération de dette contre B._ pour des montants de 24'175 fr., 5'850 fr. et 64'350 fr. Par jugement incident du 10 novembre 2008, le Président du Tribunal civil d'arrondissement de La Côte a éconduit A._ d'instance, au motif qu'il n'était pas compétent pour connaître de l'action. Cette décision a été notifiée au conseil de A._ le 14 mai 2009.
A._ a interjeté recours le 26 mai 2009. Le Président de la Chambre des recours du Tribunal cantonal vaudois lui a écrit que son recours apparaissait tardif et lui a imparti un délai pour fournir toutes explications utiles. Par courrier du 15 juin 2009, le conseil de A._ a invoqué un cas de force majeure, sollicité la restitution du délai de recours et expliqué en substance que la subite absence pour maladie de sa consoeur avait ébranlé l'organisation de son étude, que son secrétariat, ensuite d'une erreur ou d'un oubli, n'avait pas inscrit le délai de recours ni conservé l'enveloppe ayant contenu le jugement, que pour cette raison, elle avait présumé que le jugement avait été réceptionné au plus tôt le 16 mai 2009, date à laquelle elle avait été en mesure de s'occuper du courrier après avoir été tenue éloignée de son étude par des raisons professionnelles.
Par arrêt du 10 juillet 2009, la Chambre des recours a rejeté la requête de restitution de délai et écarté le recours. En résumé, elle a retenu que le délai de recours de dix jours, arrivé à échéance le dimanche 24 mai 2009, avait été reporté de plein droit au lundi 25 mai 2009 et que le recours déposé le 26 mai 2009 était donc tardif, que le juge pouvait accorder la restitution d'un délai fixé par la loi si la partie, son conseil ou son mandataire établissaient avoir été empêchés d'agir par force majeure (art. 37 al. 1 du code de procédure civile [du canton de Vaud] du 14 décembre 1966 [CPC/VD; RSV 270.11]), que la notion de force majeure devait être interprétée restrictivement, que selon la pratique de la Chambre des recours fondée sur celle du Tribunal fédéral, l'erreur d'une secrétaire, à moins que l'omission de celle-ci ne résulte d'un cas de force majeure, était imputable à l'avocat, qu'en l'espèce, l'omission du secrétariat d'inscrire le délai de recours, due à un défaut d'organisation de l'étude lors de la subite absence pour maladie de la consoeur du conseil de A._, et celle de conserver l'enveloppe ayant contenu le jugement, ne sauraient constituer un cas de force majeure et que la mandataire devait ainsi se laisser imputer les erreurs de ses auxiliaires.
B. A._ (le recourant) a interjeté un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral, concluant à ce que l'arrêt du 10 juillet 2009 soit réformé en ce sens que la requête de restitution de délai est admise, l'acte de recours déposé le 26 mai 2009 déclaré recevable et la cause renvoyée à la Chambre des recours pour qu'elle statue sur le recours; il a également présenté une demande d'effet suspensif, qui a été admise par ordonnance présidentielle du 9 octobre 2009. B._ (l'intimé) a proposé le rejet du recours, avec suite de frais et dépens.

Considérant en droit:
1. Le litige au fond porte sur plus de 94'000 fr. La valeur litigieuse ouvrant la voie du recours en matière civile est dès lors atteinte (cf. <ref-law>). Il s'ensuit que le recours constitutionnel subsidiaire est irrecevable (<ref-law>).
2. La restitution du délai de recours est régi par le droit cantonal, en l'occurrence par l'<ref-law>/VD, qui dispose que le juge peut accorder la restitution d'un délai fixé par la loi si la partie, son conseil ou son mandataire établit avoir été empêché d'agir par force majeure. Le Tribunal fédéral peut examiner l'application du droit cantonal uniquement sous l'angle d'une violation d'un droit constitutionnel, en particulier d'une violation de l'interdiction de l'arbitraire (art. 9 Cst.; <ref-ruling> consid. 2.3).
Le recourant expose que sa mandataire était absente de l'étude pour motifs professionnels au moment où le jugement de première instance a été notifié à l'étude, que la consoeur de celle-ci, chargée de traiter le courrier et de tenir le rôle des audiences et des délais, s'était trouvée de manière imprévisible et irrésistible empêchée par la maladie, que le secrétariat de l'étude avait certes réceptionné et ouvert le courrier, mais qu'il n'était pas chargé de la tenue du rôle des audiences et plus particulièrement des délais et qu'il n'était pas formé pour cela; le recourant en déduit que la maladie de la consoeur de sa mandataire constituait bien un cas de force majeure ayant entraîné la désorganisation de l'étude et ayant conduit sa mandataire à commettre une erreur lors du décompte du délai de recours.
Le grief est infondé. Noter la date de réception d'un acte judiciaire est une précaution élémentaire dans une étude d'avocat. Le secrétariat, dont l'une des tâches classiques est la réception du courrier, ne saurait l'ignorer, à moins de retenir une organisation absolument déficiente de l'étude. En outre, l'avocat qui entend déposer un recours doit contrôler quand le délai de recours vient à échéance; ce faisant, il ne peut que se rendre compte que la date de réception de la décision n'a pas été notée et prendre alors les précautions que cela implique. Dans ces circonstances, la Chambre des recours n'est manifestement pas tombée dans l'arbitraire en niant un cas de force majeure. Par conséquent, le recours en matière civile doit être rejeté.
3. Compte tenu de l'issue du litige, les frais judiciaires et dépens de l'intimé sont mis à la charge du recourant, qui succombe (art. 66 al. 1 ainsi qu'art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4. Une indemnité de 2'500 fr., à payer à l'intimé à titre de dépens, est mise à la charge du recourant.
5. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal vaudois.
Lausanne, le 17 novembre 2009
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Cornaz