Faits : A. A._, né en 1966, marié et père de cinq enfants (nés entre 1997 et 2004), a exercé l'activité de ferblantier-couvreur jusqu'en 2008. Par décisions des 16 février 2010 et 12 juillet 2011, l'Office cantonal AI du Valais (ci-après: l'office AI) lui a reconnu le droit à une rente entière d'invalidité, assortie de cinq rentes pour enfant, dès le 1 er juin 2008, à une demi-rente dès le 1 er mai 2009, puis à une rente entière dès le 1 er juin 2010. Le droit aux prestations a été maintenu par communication du 24 février 2015. A.a. A la suite d'un contrôle du Service valaisan de protection des travailleurs et des relations du travail (SPT) en octobre 2016, en application de la législation fédérale sur le travail au noir, au cours duquel l'assuré a été vu apporter de l'aide à son fils, gérant d'un restaurant à U._, en s'occupant de l'entretien et en officiant comme agent de sécurité privé (rapport du SPT du 1 er février 2017), l'office AI a initié une révision du droit à la rente et diligenté des mesures d'observation (rapport de surveillance du 8 mai 2017). Après avoir notamment convoqué A._ pour un entretien le 11 juillet 2017, l'office AI a suspendu la rente d'invalidité de l'intéressé, ainsi que les rentes complémentaires pour enfant, avec effet au 31 juillet 2017 (décision du 11 juillet 2017). Par décision du 19 décembre 2017, le Tribunal cantonal du Valais, Cour des assurances sociales, a rejeté la requête de restitution de l'effet suspensif assortissant le recours déposé par l'assuré. A.b. Entre-temps, l'office AI a notamment soumis l'assuré à un examen clinique bidisciplinaire auprès de son Service médical régional (SMR). Dans son rapport du 20 septembre 2017, le docteur B._, spécialiste en médecine physique et réadaptation et en rhumatologie, a posé le diagnostic de spondylarthrite (M45.0); il a conclu à une capacité de travail de 50 % dans une activité adaptée aux limitations fonctionnelles qu'il a décrites, dès le 28 janvier 2009. Quant au docteur C._, spécialiste en psychiatrie et psychothérapie, il a exclu toute symptomatologie psychiatrique incapacitante, à tout le moins depuis les premières mesures de surveillance mises en oeuvre en octobre 2016 (rapport des 19 et 25 septembre 2017). Par projet de décision du 4 décembre 2017, l'administration a indiqué à A._ qu'elle allait réduire sa rente entière d'invalidité à une demi-rente, avec effet rétroactif au 1er février 2017. En bref, elle a considéré que dès octobre 2016, l'assuré présentait une capacité de travail de 50 %, et qu'il ne l'avait fautivement pas informée de l'amélioration de son état de santé. L'assuré s'est opposé au projet de décision, en alléguant une aggravation de son état de santé psychique. Après avoir soumis les pièces médicales produites par l'intéressé (rapport des docteurs D._ et E._, médecins à l'hôpital F._, du 7 décembre 2017, relatif à une hospitalisation du 8 novembre au 7 décembre 2017, et rapport du docteur G._, spécialiste en médecine interne générale et en rhumatologie, du 22 janvier 2018) à son SMR (avis du docteur C._ du 5 février 2018), l'office AI a diminué la rente entière d'invalidité de l'assuré à une demi-rente, ainsi que les rentes pour enfant, au 1er février 2017 (décision du 9 mars 2018). B. A._ a recouru contre cette décision à la Cour des assurances sociales du Tribunal cantonal du Valais. Il a produit différents avis médicaux, dont un rapport des docteurs H._ et I._ et de la doctoresse J._, tous trois médecins au Centre de compétences en psychiatrie et psychothérapie de l'Hôpital K._, du 9 août 2018. Statuant le 4 février 2020 sur les recours formés par A._ contre les décisions de l'office AI des 11 juillet 2017 et 9 mars 2018, la juridiction cantonale les a rejetés, après avoir joint les causes. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut principalement à la reconnaissance du droit à une rente entière d'invalidité avec effet rétroactif au 1 er août 2017, ainsi qu'à la reprise du versement des rentes complémentaires pour enfant dès cette même date. Subsidiairement, il requiert le renvoi de la cause à la juridiction cantonale, respectivement à l'office AI, pour nouvelle décision dans le sens des considérants.