Faits :
A.
Par jugement du 7 mars 2018, notifié aux parties le 15 août 2018, le Tribunal civil de l'arrondissement de La Broye et du Nord vaudois, rejetant la demande formée par A._ mais admettant la demande reconventionnelle du défendeur B._, a condamné le premier à payer au second la somme de 18'993 fr. 70, avec intérêts à 5% l'an dès le 12 mai 2012, a levé l'opposition formée par A._ au commandement de payer dans la poursuite en cours à concurrence de cette somme et mis les frais de procédure à la charge de celui-ci.
B.
Le 17 septembre 2018, A._ a appelé de cette décision devant la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Par avis du 24 octobre 2018, le Juge délégué de la cour cantonale a avisé A._ que son appel semblait tardif. Il l'a invité à se déterminer sur ce point, en lui fixant un délai échéant le 5 novembre 2018.
En date du 2 novembre 2018, le conseil de A._ a sollicité la restitution du délai d'appel à l'encontre de la décision entreprise conformément à l'<ref-law>. A l'appui de cette requête, il a fait valoir que la décision attaquée avait été reçue le 15 août 2018 à son étude de..., alors qu'il gérait le dossier depuis son autre étude sise à..., en Valais, où le 15 août 2018 est un jour férié. Si le jugement avait certes été transmis par télécopie le 15 août 2018 à l'étude de..., ce n'était que le lendemain, lors de la réouverture des locaux, que le fax avait été vu. Un employé de l'étude avait alors faussement retenu le 16 août 2018 comme date de réception du jugement.
Par courrier spontané du 5 novembre 2018, le conseil de B._ a conclu à l'irrecevabilité de l'appel.
Statuant par arrêt du 14 décembre 2018, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté la requête de restitution de délai et déclaré l'appel irrecevable.
En bref, la cour cantonale a considéré que le délai de trente jours pour introduire l'appel avait commencé à courir le 16 août 2018 pour échoir le 14 septembre 2018. L'appel, déposé le 17 septembre 2018, était ainsi tardif et, partant, irrecevable. S'agissant de la demande de restitution de délai, l'autorité cantonale a estimé que la différence de jours fériés entre les cantons de Vaud et du Valais n'avait aucune incidence en l'espèce, dès lors que l'on pouvait raisonnablement attendre d'un avocat qu'il prenne les mesures nécessaires afin de respecter les jours fériés du canton dans lequel la procédure est pendante. En outre, ni une défaillance dans l'organisation interne du mandataire ni une erreur dans la tenue de l'agenda ne pouvaient en l'occurrence justifier d'accorder la restitution de délai requise.
C.
Le 25 janvier 2019, A._ (ci-après: le recourant) a formé un recours en matière civile au Tribunal fédéral aux fins d'obtenir l'annulation de l'arrêt entrepris et le renvoi de la cause à l'autorité cantonale.
B._ (ci-après: l'intimé) et la Cour d'appel civile du Tribunal cantonal du canton de Vaud, qui a produit le dossier de la cause, n'ont pas été invités à déposer une réponse.

Considérant en droit :
1.
La décision attaquée a été rendue en matière civile (<ref-law>) par le tribunal supérieur institué comme autorité cantonale de dernière instance (<ref-law>). Le recours est recevable sans réserve à l'encontre des décisions finales (<ref-law>), soit celles qui mettent définitivement fin à la procédure, pour un motif de fond ou de procédure (<ref-ruling> consid. 2.2). La valeur litigieuse atteint le seuil de 30'000 fr., ouvrant le recours en matière civile dans les affaires ne relevant ni du droit du travail ni du droit du bail à loyer (<ref-law>). Le recours est exercé par la partie qui a succombé dans sa requête en restitution de délai et, partant, dans ses conclusions tendant à ce que le Tribunal cantonal entre en matière sur son appel (<ref-law>). Déposé en temps utile (<ref-law>) et dans la forme (<ref-law>) prévue par la loi, le recours est recevable.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). "Manifestement inexactes" signifie ici "arbitraires" (<ref-ruling> consid. 2 p. 117; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
2.2. Le Tribunal fédéral applique d'office le droit (<ref-law>) à l'état de fait constaté dans l'arrêt cantonal. Cela n'implique pas qu'il examine toutes les questions juridiques qui pourraient se poser, à l'instar d'un juge de première instance. Eu égard à l'obligation de motiver imposée par l'<ref-law>, l'autorité de céans ne traite que les questions qui sont soulevées devant elle par les parties, à moins que la violation du droit ne soit manifeste (<ref-ruling> consid. 2 p. 116; <ref-ruling> consid. 2).
3.
Dans un unique grief, le recourant reproche à la cour cantonale d'avoir violé l'<ref-law>.
3.1. Aux termes de l'<ref-law>, le tribunal peut accorder un délai supplémentaire ou citer les parties à une nouvelle audience lorsque la partie défaillante en fait la requête et rend vraisemblable que le défaut ne lui est pas imputable ou n'est imputable qu'à une faute légère (al. 1). La requête est présentée dans les dix jours qui suivent celui où la cause du défaut a disparu (al. 2). Si une décision a été communiquée, la restitution ne peut être requise que dans les six mois qui suivent l'entrée en force de la décision (al. 3).
Le défaut doit découler d'une absence de faute ou d'une faute légère. L'<ref-law> est ainsi moins sévère que les <ref-law>, 13 al. 1 PCF, 33 al. 4 LP et 94 al. 1 CPP, lesquelles dispositions subordonnent la restitution à l'absence de toute faute (arrêts 4A_163/2015 du 12 octobre 2015 consid. 4.1; 5A_927/2015 du 22 décembre 2015 consid. 5.1; 5A_94/2015 du 6 août 2015 consid. 6.1; P ATRICIA DIETSCHY-MARTENET, La restitution de délai dans le Code de procédure civile suisse, in RDS 2015 I 156 s.). La faute légère vise tout comportement ou manquement qui, sans être acceptable ou excusable, n'est pas particulièrement répréhensible, tandis que la faute grave suppose la violation de règles de prudence vraiment élémentaires qui s'imposent impérieusement à toute personne raisonnable (arrêts 4A_163/2015, précité, consid. 4.1; 5A_927/2015, précité, consid. 5.1; DIETSCHY-MARTENET, op. cit., p. 157 s.). Le point de savoir quelles circonstances excusables une partie a rendu vraisemblables concerne l'appréciation des preuves et constitue une question de fait. En revanche, dire si la faute de la partie requérante peut encore être qualifiée de légère au regard des constatations de fait souveraines de l'autorité précédente est une question de droit (arrêts 4A_163/2015, précité, consid. 4.1; 5A_927/2015, précité, consid. 5.1; 5A_94/2015, précité, consid. 6.1).
Pour trancher la question de la restitution du délai, le comportement des auxiliaires doit être imputé à la partie elle-même (<ref-ruling> consid. 2 et 3; arrêts 5A_927/2015, précité, consid. 5.1; 1P.603/2001 du 1er mars 2002 consid. 2.2). De même, une partie doit se laisser imputer la faute de son représentant (<ref-ruling> consid. 2; arrêts 5A_927/2015, précité, consid. 5.1; 5A_393/2013 du 17 octobre 2013 consid. 2.4). Il importe donc peu que le retard soit imputable au plaideur ou à son avocat (arrêt 5A_927/2015, précité, consid. 5.1). La Cour de droit pénal du Tribunal fédéral a toutefois réservé les cas de défense obligatoire dans lesquels le droit du prévenu à une défense pénale concrète et effective peut, dans des circonstances exceptionnelles, faire obstacle à l'imputation de la faute grave commise par le défenseur (<ref-ruling> consid. 2.2). Pour apprécier le comportement du mandataire, il faut se fonder sur les motifs exposés dans la demande de restitution de délai (<ref-ruling> consid. 2b p. 88; arrêts 5A_927/2015, précité, consid. 5.1; 1P.603/2001, précité, consid. 3).
Il suffit que les conditions (matérielles) d'application de l'<ref-law> soient rendues vraisemblables par le requérant, qui supporte le fardeau de la preuve (arrêts 5A_927/2015, précité, consid. 5.1; 5A_94/2015 du 6 août 2015 consid. 6.2 et 6.3; DENIS TAPPY, in Commentaire romand, Code de procédure civile commenté, 2ème éd. 2019, n° 11 ad <ref-law>; NICCOLÒ GOZZI, in Commentaire bâlois, CPC, 3ème éd. 2017, n° 38 ad <ref-law>). La requête de restitution doit ainsi être motivée, c'est-à-dire indiquer l'empêchement, et accompagnée des moyens de preuve disponibles (arrêt 5A_927/2015, précité, consid. 5.1; GOZZI, op. cit., n° 39 ad <ref-law>; URS H. HOFFMANN-NOWOTNY, in Kurzkommentar ZPO, 2ème éd. 2014, n° 9 ad <ref-law>).
Le tribunal appelé à se prononcer sur la requête de restitution dispose d'une marge d'appréciation (arrêts 4A_163/2015, précité, consid. 4.1; 4A_334/2016 du 7 juillet 2016 consid. 4.2; 5A_927/2015, précité, consid. 5.1). Le Tribunal fédéral n'intervient dès lors que si la décision attaquée s'écarte sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, si elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou à l'inverse, si elle n'a pas tenu compte d'éléments qui auraient absolument dû être pris en considération; il sanctionne en outre les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (arrêt 4A_334/2016, précité, consid. 4.2).
3.2. Dans une critique largement appellatoire, le conseil du recourant fait grief à la cour cantonale d'avoir nié, à tort, l'existence d'une faute légère au sens de l'<ref-law>, compte tenu des circonstances tout à fait particulières de la présente espèce. A l'en croire, le fait pour l'un de ses collaborateurs d'avoir calculé le délai d'appel à compter du 16 août 2018, date de la réouverture de son étude de... (le 15 août 2018 étant un jour férié en Valais), en considérant que le jugement de première instance avait été reçu à cette date, alors qu'il avait en réalité été notifié la veille à son étude vaudoise, ne serait pas particulièrement répréhensible. Aussi, cette simple inadvertance serait-elle tout au plus constitutive d'une faute légère.
3.3. En l'occurrence, force est tout d'abord d'admettre avec la cour cantonale que le respect des délais - et partant la tenue de l'agenda - fait partie des devoirs élémentaires de l'avocat, lequel est censé non seulement instruire mais également contrôler la manière dont ses collaborateurs tiennent l'agenda. Aussi, en faisant preuve de l'attention commandée par les circonstances, le conseil du recourant aurait pu et dû se rendre compte de l'erreur commise par son collaborateur et rectifier le calcul du délai en conséquence. C'est le lieu aussi de souligner que, de manière générale, une défaillance dans l'organisation interne de l'avocat (problèmes informatiques, auxiliaire en charge du recours, absence du mandataire principal) ne constitue pas un empêchement non fautif justifiant une restitution du délai (<ref-ruling>, précité, consid. 1.3).
Ensuite, le recourant concède que dans "un cas normal", l'on pourrait concevoir que le comportement qui lui est reproché puisse être qualifié de particulièrement répréhensible. Quoi qu'il soutienne, les circonstances de l'espèce ne présentent aucun caractère exceptionnel et ne sauraient justifier de s'écarter du constat de principe opéré par le recourant lui-même.
De surcroît, la jurisprudence considère que l'on doit en principe qualifier de faute grave l'erreur commise par un avocat quant à la portée d'une règle procédurale (arrêt 1C_878/2013 du 16 mai 2014 consid. 4.1). A cet égard, la Cour de droit pénal du Tribunal fédéral a estimé que l'inobservation d'un délai d'appel par un avocat résultant d'une confusion intervenue au sein de son secrétariat constituait un cas de négligence grossière; cette faute occasionnant un sérieux préjudice n'était toutefois pas imputable au prévenu se trouvant dans un cas de défense obligatoire (<ref-ruling>, précité, consid. 2.3). Un auteur cité par le recourant est d'avis qu'une faute légère pourrait être retenue lorsque le non-respect du délai découle d'une erreur d'agenda ou lorsqu'un acte a été effectivement préparé dans le délai, mais n'a par mégarde pas été posté le jour même (TAPPY, op. cit., n° 15 ad <ref-law>). Cette opinion paraît cependant minoritaire. En effet, la plupart des auteurs considèrent, à juste titre, qu'une erreur de calcul de délai commise par un avocat constitue en principe une faute grave (DIETSCHY-MARTENET, op. cit., p. 160; SAMUEL BAUMGARTNER et al., Schweizerisches Zivilprozessrecht, 10ème éd., § 41 no 150; A DRIAN STAEHELIN, in Kommentar zur schweizerischen Zivilprozessordnung, Thomas Sutter-Somm et al., éd., 3ème éd. 2016, n° 9 ad <ref-law>; B ARBARA MERZ, in Schweizerische Zivilprozessordnung, Alexandre Brunner et al., éd., 2ème éd. 2016, no 21 ad <ref-law>; HOFFMANN-NOWOTNY, op. cit., n° 7 ad <ref-law>; NINA J. FREI, in Commentaire bernois, 2012, n° 20 ad <ref-law>).
Pour le surplus, les explications purement appellatoires du recourant, par lesquelles il soutient que les actes de la présente procédure ont toujours été expédiés depuis son étude sise à..., que la notification du jugement de première instance est intervenue à la fin des féries d'été, une période où il est notoire que les études d'avocat doivent composer avec des effectifs réduits, qu'un avocat doit gérer quotidiennement des dizaines de délais, sont comme telles irrecevables, et, de toute manière, dénuées de pertinence.
Enfin, l'on ne saurait suivre le recourant lorsqu'il affirme que la cour cantonale n'a pas motivé sa décision pour parvenir à la conclusion qu'une erreur dans la tenue de l'agenda ne constituait pas une faute légère. Il ressort au contraire des considérants de l'arrêt attaqué que l'autorité cantonale a soigneusement examiné la question, en citant plusieurs références jurisprudentielles pour motiver sa solution.
Dans ces conditions, la cour cantonale n'a pas abusé de son pouvoir d'appréciation en écartant l'existence d'une faute légère au sens de l'<ref-law>.
Il appert des remarques précédentes que le grief doit être rejeté.
4.
Sur le vu de ce qui précède, le recours est rejeté. Le recourant, qui succombe, devra payer les frais de la procédure fédérale (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimé dès lors qu'il n'a pas été invité à se déterminer.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, fixés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux mandataires des parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 20 mars 2019
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : O. Carruzzo