Faits : A. A._, né en 1936 et marié, est au bénéfice d'une rente de l'assurance-vieillesse et survivants. Il séjourne depuis le mois de février 2016 à la Résidence B._ SA, établissement médico-social (EMS) sis à C._ et reconnu d'utilité publique. A partir du mois d'octobre 2016, la Caisse cantonale neuchâteloise de compensation (ci-après: la caisse) lui a alloué des prestations complémentaires d'un montant de 2'067 fr. par mois (décision du 12 septembre 2016). Le 12 décembre suivant, elle a lui a reconnu le droit à une allocation pour impotent de degré moyen dès le 1er janvier 2017. Par décision du 24 novembre 2017, la caisse a demandé à A._ la restitution d'un montant de 6'468 fr. correspondant aux prestations complémentaires versées en trop du 1er janvier au 30 novembre 2017. En bref, elle a considéré que l'intéressé ne lui avait pas annoncé toucher une allocation pour impotent depuis janvier 2017, de sorte que cette prestation n'avait à tort pas été prise en considération dans le calcul des prestations complémentaires; aussi devait-elle reconsidérer "ses précédentes décisions" et fixer à nouveau les prestations en cause à 1'479 fr. par mois depuis le 1er janvier 2017, la différence d'avec les prestations versées devant être restituée par l'ayant droit. A la suite de l'opposition d'A._, la caisse a maintenu son point de vue par décision sur opposition du 29 mai 2018. B. Statuant le 4 janvier 2019 sur le recours formé par A._ contre la décision sur opposition, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel l'a admis et annulé les décisions des 29 mai 2018 et du 24 novembre 2017. C. Agissant par la voie du recours en matière de droit public, la caisse demande au Tribunal fédéral d'annuler le jugement cantonal et de confirmer la décision sur opposition du 29 mai 2018. A._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales (OFAS) a renoncé à se déterminer.