Faits :
A.
A._, titulaire d'une rente de l'assurance-vieillesse et survivants (AVS), est au bénéfice de prestations complémentaires allouées par la Caisse cantonale de compensation du Valais (ci-après: la caisse) depuis le 1er février 2008. En raison de la naissance du droit à la rente AVS de l'épouse de l'ayant droit au 1er mai 2018, la caisse a procédé à une révision dès avril 2018. Dans ce cadre, elle a appris que les époux A._ et B._ avaient emménagé dans un appartement dont leur fils, C._, était propriétaire, depuis le 15 mai 2014 et avaient mis en location leur propre bien immobilier dès le 1er juin 2014. La caisse a dès lors réexaminé le droit de l'assuré aux prestations complémentaires à partir du 1er juin 2014 et fixé à nouveau les prestations dès cette date; elle lui a demandé de restituer le montant de 43'878 francs perçu en trop pour la période du 1er juin 2014 au 30 avril 2018, par décision du 12 octobre 2018, confirmée par décision sur opposition du 9 avril 2019, laquelle est entrée en force. Le 4 juin 2019, A._ a requis la remise de l'obligation de restitution. La caisse a rejeté cette demande par décision du 25 octobre 2019, confirmée par décision sur opposition du 31 mars 2020.
B.
L'assuré a déféré la décision sur opposition du 31 mars 2020 au Tribunal cantonal du Valais, Cour des assurances sociales, qui a rejeté son recours par jugement du 7 juillet 2021.
C.
A._ interjette un recours en matière de droit public contre ce jugement, dont il demande la réforme en ce sens qu'une remise totale lui est accordée. Subsidiairement, il conclut à ce que le jugement du 7 juillet 2021 soit annulé et la cause renvoyée "aux autorités précédentes" pour nouvelle décision. Il requiert également l'octroi de l'effet suspensif au recours.

Considérant en droit :
1.
Le recours en matière de droit public (au sens des <ref-law>) peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>. Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées. Sinon, un état de fait divergent ne peut pas être pris en considération.
2.
2.1. Le litige porte sur la remise de l'obligation du recourant de restituer des prestations complémentaires perçues entre les 1er juin 2014 et 30 avril 2018 (43'878 francs), en particulier sur la condition de la bonne foi prévue à l'<ref-law>.
2.2. L'acte attaqué expose les normes et la jurisprudence indispensables à la résolution du litige, singulièrement celles relatives à la restitution de prestations indûment touchées (<ref-law>; art. 4 et 5 OPGA; <ref-ruling> consid. 4; <ref-ruling> consid. 3d) et à la condition de la bonne foi en lien avec le devoir d'annoncer (<ref-law>; <ref-law>). Il suffit d'y renvoyer.
3.
Le Tribunal cantonal a confirmé le rejet de la demande de remise de l'obligation de restituer, au motif que la condition de la bonne foi n'était en l'occurrence pas remplie. Il a constaté pour l'essentiel que depuis 2014, l'assuré n'avait nullement jugé utile de signaler à la caisse qu'il avait déménagé chez son fils dès le 15 mai 2014, qu'il percevait des loyers pour la location de son propre logement depuis juin 2014 et que sa belle-fille était ensuite venue vivre dans le logement commun, alors qu'il s'agissait de faits influençant la pondération de la participation au logement et donc les dépenses du recourant et de son épouse. Or vu ces importants changements, dont l'importance ne pouvait pas être ignorée du recourant, les calculs de prestations complémentaires qui lui avaient été notifiés étaient manifestement erronés. Le recourant avait donc fait preuve de négligence grave en omettant de les communiquer.
4.
4.1. Le recourant fait principalement valoir qu'il avait indiqué son changement d'adresse à la caisse à la fin de l'année 2016, ce qui aurait à tout le moins dû pousser celle-ci à l'interroger sur sa nouvelle situation locative. Au vu de sa faible connaissance du français et de son faible niveau de formation, il n'aurait pour le surplus pas pu se rendre compte que le changement de sa situation personnelle allait avoir une conséquence sur son droit aux prestations. On ne saurait donc lui reprocher un manque de bonne foi. Si on devait lui reprocher d'avoir agi de manière négligente, sa négligence serait à qualifier de légère, ouvrant ainsi la voie à une remise.
4.2.
4.2.1. Dans le contexte de calculs erronés de prestations complémentaires, la personne assurée ne peut pas se prévaloir de sa bonne foi si elle a omis de contrôler ou a contrôlé de manière peu soigneuse la feuille de calcul et ne constate pas, de ce fait, une erreur facilement décelable (cf. par exemple arrêt 9C_318/2021 du 21 septembre 2021 consid. 3.2 et les arrêts cités). Constitue une question de fait celle de savoir si la personne assurée avait effectivement connaissance de l'erreur. En revanche, l'examen de l'attention exigible d'un ayant droit qui invoque sa bonne foi relève du droit et le Tribunal fédéral revoit librement ce point (<ref-law>; <ref-ruling> consid. 3; arrêt 9C_318/2021 précité consid. 3.3 et les références).
4.2.2. Comme l'a reconnu à juste titre la juridiction cantonale, le recourant ne pouvait pas, en l'espèce, ignorer l'influence de sa situation locative sur le calcul des prestations complémentaires, en faisant preuve de l'attention requise de sa part, examinée à l'aune de ce qui peut raisonnablement être exigé d'une personne capable de discernement dans une situation identique et dans les mêmes circonstances (ATF <ref-ruling> consid. 3d; SYLVIE PÉTREMAND, Commentaire romand, Loi sur la partie générale des assurances sociales, 2018, ch. 63 ss ad art. 25). En effet, tant la demande initiale qu'il avait remplie que le formulaire qui lui avait été adressé dans le cadre d'une révision périodique en début de l'année 2014 comprenaient une rubrique relative au logement. Par ailleurs, le recourant n'a pas non plus réagi pendant plusieurs années consécutives à réception des feuilles de calcul respectives, alors que celles-ci étaient manifestement et de façon reconnaissable fondées sur un état de fait qui ne correspondait plus à la réalité depuis le mois de juin 2014. En particulier, le recourant aurait, même s'il n'avait qu'une faible connaissance du français et un niveau de formation peu élevé, dû s'apercevoir du fait que les loyers perçus depuis le mois de juin 2014 pour la location de son propre appartement n'y figuraient pas sous la rubrique des revenus. La négligence dont il a fait preuve dans le contrôle des feuilles de calcul ne saurait dès lors être qualifiée de légère. A cet égard, il ne saurait invoquer avec succès "la mauvaise administration de la caisse" parce que celle-ci aurait dû réagir notamment lorsqu'un courrier adressé à l'ancienne adresse le 27 juillet 2015 lui était revenu avec la mention d'un déménagement. Nonobstant le moment à partir duquel l'intimée a eu connaissance du changement d'adresse, cet élément ne libérait pas le recourant de son obligation d'annoncer les nouveaux revenus résultant de la location de son appartement - soit un changement de sa situation économique - voire de vérifier les feuilles de calcul régulièrement reçues.
En conséquence, la juridiction cantonale n'a pas violé l'<ref-law> en retenant une négligence grave du recourant et en confirmant que les conditions d'une remise n'étaient pas réalisées. Pour le surplus, il suffit de se référer aux motifs du jugement attaqué (<ref-law>).
5.
Le présent arrêt rend sans objet la requête d'effet suspensif.
6.
Manifestement infondé, le recours doit être rejeté selon la procédure simplifiée de l'<ref-law>. Vu l'issue du litige, les frais judiciaires doivent être supportés par le recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 1er décembre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Oswald