Faits :
A.
La société B._ SA, fondée en 2013 à U._ (Vaud), avait pour but statutaire l'exploitation d'une entreprise générale de construction. En tant qu'employeur, elle était affiliée pour le paiement des cotisations paritaires auprès de la Caisse cantonale vaudoise de compensation AVS (ci-après: la caisse de compensation). La société a transféré son siège à V._ (Valais) en avril 2015. La faillite de la société a été prononcée en octobre 2015, puis suspendue faute d'actif en février 2016. La société a ensuite été radiée d'office du Registre du commerce en juin 2016.
Le 1 er mai 2017, la caisse de compensation a réclamé à A._, en sa qualité d'administrateur unique avec signature individuelle jusqu'au 16 avril 2015, la réparation du dommage (à hauteur de 42'006 fr. 20) qu'elle a subi dans la faillite de la société B._ SA et portant sur le solde des cotisations sociales paritaires pour 2014 et 2015. Saisie d'une opposition, la caisse de compensation l'a partiellement admise et a fixé le montant dû à 38'749 fr. 05, en fonction du solde dû jusqu'au 12 mars 2015 (décision sur opposition du 12 juin 2017).
B.
A._ a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, qui s'est déclaré incompétent à raison du lieu et a transmis la cause à l'autorité judiciaire valaisanne (décision du 19 décembre 2017). Statuant le 5 septembre 2018, le Tribunal cantonal du Valais, Cour des assurances sociales, a rejeté le recours.
C.
A._ forme un recours en matière de droit public contre ce jugement dont il demande l'annulation.

Considérant en droit :
1.
La recevabilité du recours en matière de droit public contre un jugement statuant sur la responsabilité d'un employeur envers une caisse de compensation fondée sur l'<ref-law> n'est ouverte que si la valeur litigieuse atteint la somme de 30'000 francs (<ref-law>; <ref-ruling> consid. 4.3 p. 56). En l'occurrence, les conclusions restées litigieuses devant l'autorité précédente (<ref-law>) s'élèvent à 38'749 fr. 05, de sorte que le recours en matière de droit public est recevable de ce chef.
2.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
3.
Le litige porte sur la responsabilité du recourant dans le préjudice subi par la caisse de compensation intimée en raison du non-paiement par la société B._ SA du solde des cotisations paritaires afférentes à la période courant jusqu'au 12 mars 2015. Les premiers juges ont exposé de manière complète les normes légales et la jurisprudence applicables en matière de responsabilité de l'employeur au sens de l'<ref-law>. Il suffit d'y renvoyer.
4.
La juridiction cantonale a retenu que le recourant avait commis une négligence grave au sens de l'<ref-law> en ne veillant ni au versement des cotisations salariales paritaires courantes ni au paiement des cotisations arriérées durant son mandat d'administrateur unique, en dépit de multiples sommations de la caisse de compensation. Il devait ainsi répondre personnellement du dommage de 38'749 fr. 05 causé à l'intimée par la faillite de la société.
5.
5.1. Invoquant un déni de justice formel, le recourant soutient tout d'abord que la juridiction cantonale n'a pas traité son grief selon lequel les "simples poursuites" engagées par la caisse de compensation contre la société B._ SA n'étaient pas suffisantes pour admettre sa responsabilité subsidiaire. Il fait valoir que la caisse de compensation aurait encore pu organiser la saisie des actifs de la société, cas échéant après avoir prononcé la mainlevée des éventuelles oppositions.
5.2. Le Tribunal fédéral a déduit du droit d'être entendu, consacré par l'art. 29 al. 2 Cst., le devoir pour l'autorité de motiver sa décision, afin que le justiciable puisse en saisir la portée et, le cas échéant, l'attaquer en connaissance de cause. Pour répondre à ces exigences, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision. Il n'est pas tenu de discuter tous les arguments soulevés par les parties, mais peut se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 4.3.2 p. 436; <ref-ruling> consid. 9.2 p. 65 et les références). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté même si la motivation présentée est erronée. La motivation peut d'ailleurs être implicite et résulter des différents considérants de la décision. En revanche, une autorité se rend coupable d'un déni de justice formel prohibé par l'art. 29 al. 2 Cst. si elle omet de se prononcer sur des griefs qui présentent une certaine pertinence ou de prendre en considération des allégués et arguments importants pour la décision à rendre (<ref-ruling> consid. 3.2.1 p. 564 et les références).
5.3. Le caractère subsidiaire de la responsabilité des organes d'une personne morale (au sens de l'<ref-law>) signifie que la caisse de compensation ne peut agir contre ces derniers que si le débiteur des cotisations (la personne morale) est devenu insolvable. A ce propos, les premiers juges ont retenu que la faillite de la société B._ SA avait été suspendue faute d'actif, de sorte que la caisse de compensation était dans l'impossibilité de recouvrer en l'occurrence sa créance. Ils ont dès lors constaté les éléments requis par la jurisprudence pour admettre que la caisse de compensation avait connaissance de son dommage et était en droit de demander la réparation de celui-ci aux organes de la société dès le 4 mars 2016, soit à la date de la publication de la suspension de la faillite faute d'actif dans la Feuille officielle suisse du commerce (<ref-ruling> consid. 2.3 p. 195; cf. ég. <ref-ruling> consid. 2.2 p. 488). On ne saurait par ailleurs exiger du juge qu'il discute après coup, en cas de litige, les chances de succès d'une hypothétique poursuite par voie de saisie pour décider si la caisse était ou non en droit de s'en prendre directement aux organes responsables (cf. arrêt H 284/02 du 19 février 2003 consid. 7.3). Le grief tiré d'un déni de justice formel doit dès lors être rejeté.
6.
6.1. Invoquant une violation de l'<ref-law>, le recourant affirme ensuite qu'on ne saurait lui reprocher une négligence grave. Il soutient que les variations de la masse salariale de la société B._ SA avaient été trop fréquentes pour qu'il eût été possible de communiquer à la caisse de compensation des informations quelque peu utilisables. La situation financière de la société n'était par ailleurs pas "tragique" au moment de son départ, car elle pouvait encore compter sur des rentrées financières en lien avec les nombreux chantiers en cours.
6.2. En sa qualité d'administrateur unique de la société B._ SA jusqu'au 16 avril 2015, le recourant reconnaît qu'il a omis, au moins par négligence, d'informer la caisse de compensation de la variation sensible de la masse de salaire au cours de l'année 2014 (augmentation de 610'743 fr. 45 par rapport à l'année précédente). Il a dès lors soustrait la société provisoirement et en partie à son obligation de cotiser. Ayant pu constater début 2015 que le montant des acomptes versés par la société en 2014 était manifestement insuffisant, le recourant n'a de plus pas veillé, comme il en était tenu, à ce que la société règle sans délai la totalité du solde dû (cf. arrêt H 97/90 du 30 janvier 1992 consid. 4, in RCC 1992 p. 259). En se limitant à affirmer que la situation financière de la société n'était pas "tragique" au printemps 2015, car des rentrées financières étaient encore attendues, le recourant ne fait par ailleurs que confirmer que la société a versé des salaires sur lesquels ses ressources financières ne permettaient pas de prélever les cotisations paritaires. Il a dès lors fait supporter le risque inhérent au financement d'une entreprise par l'assurance sociale et commis de la sorte une négligence grave au sens de l'<ref-law> (cf. <ref-ruling> consid. 4 p. 196). Son argumentation quant aux versements effectués par la société au printemps 2015 n'y change rien; le solde du découvert s'élevait encore à 38'749 fr. 05 au moment de son départ. Il est ainsi tenu à réparation du dommage qu'il a causé à l'assurance.
6.3. Pour le surplus, le recourant n'établit pas que la juridiction cantonale aurait arbitrairement omis de tenir compte de versements acquittés par la société en faveur de la caisse de compensation. Les premiers juges ont en particulier renvoyé à l'argumentation de la caisse de compensation, qui a indiqué de manière convaincante que le dernier versement de la société remontait au 20 mars 2015 et que les quelques "écritures compensation" mentionnées par le recourant portaient exclusivement sur l'annulation de factures non payées. A cet égard, le grief tiré d'une violation de l'<ref-law> ne suffit pas pour contester le solde de 38'749 fr. 05 encore dû le 12 mars 2015.
7.
Mal fondé, le recours doit être rejeté. Succombant, le recourant supportera les frais de la procédure (<ref-law>, en relation avec les art. 51 al. 1 let. a et 65 al. 2 LTF; ch. 1 du Tarif du 31 mars 2006 des émoluments judiciaires du Tribunal fédéral [RS 173.110.210.1]).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 27 novembre 2018
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
Le Greffier : Bleicker