Faits : A. Par jugement du 10 octobre 2018, le Tribunal de première instance de Genève a prononcé la mainlevée définitive, à concurrence des sommes de 26'716 fr. et 10'816 fr. 80, intérêts en sus, de l'opposition formée par A._ au commandement de payer que lui a notifié l'Office des poursuites de Genève à la réquisition de la société B._ LLP (poursuite n° xx xxxxxx x). Par arrêt du 1er novembre 2018, la Chambre civile de la Cour de justice du canton de Genève (ci-après: la Cour de justice) a déclaré irrecevable, pour cause de tardiveté, le recours du poursuivi. B. Le 15 novembre 2018, le poursuivi a requis la restitution du délai de recours contre le jugement du 10 octobre 2018. Il a fait valoir qu'il avait quitté le domicile conjugal au début du mois d'octobre 2018 et qu'en passant chercher son courrier le 17 octobre 2018, il avait noté par erreur comme date de réception du jugement précité le 17 octobre 2018 au lieu du 16 octobre 2018, date à laquelle son épouse avait réceptionné le courrier recommandé au domicile conjugal. Par arrêt du 18 janvier 2019, la Cour de justice a rejeté la requête de restitution du délai de recours. C. Par mémoire expédié le 4 mars 2019, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut en substance à l'annulation de l'arrêt du 18 janvier 2019 et à sa réforme, en ce sens que la requête de restitution de délai est admise, que la Cour de justice déclare recevable le recours qu'il a formé contre le jugement du 10 octobre 2018 et qu'elle statue sur le fond. D. Par ordonnance présidentielle du 25 mars 2019, la requête d'effet suspensif du recourant a été rejetée.