Faits:
A. A.a B._, née en 1962, institutrice de profession, a d'abord réduit son temps de travail en septembre 2000 pour des raisons de santé, avant de mettre un terme à son activité trois ans plus tard. Le 6 octobre 2003, elle a présenté une demande de prestations de l'assurance-invalidité, tendant à l'octroi d'une rente. Par courrier du 3 juin 2004, elle a requis des moyens auxiliaires (chaise roulante et main courante pour escalier) et la prise en charge des frais de transformation de son véhicule.
Entre-temps, l'Office cantonal AI du canton du Valais (ci-après: l'office AI) a recueilli des renseignements économiques et divers avis médicaux, puis mis en oeuvre une visite chez l'assurée afin d'évaluer ses besoins (rapport de la Fédération suisse de consultations en moyens auxiliaires pour personnes handicapées [FSCMA] du 22 juin 2004). Par décisions successives des 5 juillet, 28 septembre, 3 novembre et 30 décembre 2004, ainsi que du 13 janvier 2005, l'office AI a accepté de prendre en charge les frais relatifs à la remise en prêt d'un fauteuil roulant manuel, à la pose de deux mains courantes et d'une barre d'appui pour la salle de bain, à la modification du véhicule, et à l'acquisition de cannes-béquilles.
A.b Du 8 au 28 septembre 2004, B._ a séjourné à la Clinique X._ où une évaluation pluridisciplinaire (avec examens clinique, neurologique et psychiatrique) de sa situation a été effectuée. Diagnostiquant des troubles de conversion avec présentation mixte (F44.7), un trouble dépressif majeur (F32.0) et, au titre de comorbidités, un canal cervical étroit congénital C5-C6 et C6-C7 (opéré le 3 février 2004), des troubles dégénératifs lombaires, des cervicalgies chroniques et des lombalgies chroniques, les docteurs R._ et A._ ont indiqué que l'assurée présentait un syndrome fonctionnel de l'hémicorps gauche sans signe d'atteinte radiculaire, tronculaire et médullaire (notamment des signes de myélopathie) et qualifié d'important le handicap fonctionnel; l'affection psychiatrique était au premier plan et justifiait une incapacité totale de travail de longue durée dans toute profession (rapport du 28 septembre 2004). Après que la doctoresse D._, chiropraticienne, s'est prononcée sur la nécessité d'une aide de tiers (questionnaire en vue de déterminer l'impotence du 25 février 2005), l'office AI a admis la prise en charge des frais d'aménagement de la salle de bain de l'assurée (décision du 3 mars 2005). Il a également confié une expertise au Centre d'observation médicale de l'AI (COMAI) à Y._ où les docteurs M._, neurologue, et S._, psychiatre, ont conclu à une incapacité totale de travail en raison d'un trouble dissociatif (de conversion) mixte (sensorielle et moteur; F44.7) et d'un trouble spécifique de la personnalité (personnalité histrionique F60.4), lesquels induisaient un total dysfonctionnement sur le plan physique et psychique (rapport reçu par l'office AI le 3 août 2005).
Le 27 juillet 2005, l'assurée a sollicité la prise en charge d'un fauteuil roulant électrique afin d'augmenter sa mobilité, puis, le 19 août suivant, celle d'un ascenseur. Après avoir requis (notamment) l'avis de son Service médical régional Z._, posé des questions complémentaires au COMAI (réponse du docteur O._, psychiatre, du 31 janvier 2006), l'office AI a nié le droit de B._ à une allocation pour impotent, par décision du 14 avril 2006. Les 15, 16, 17 et 18 avril 2006, il a successivement refusé des moyens auxiliaires (orthèse cervicale et de tronc, fauteuil roulant électrique, lift d'escalier ou fauteuil pour monter et descendre les escaliers). Le lendemain, il a rendu une décision par laquelle il a reconsidéré la décision d'octroi d'un fauteuil roulant, en limitant la prise en charge de ce moyen auxiliaire au 30 avril 2006 et invité l'assurée à restituer celui qui lui avait été remis en prêt. Par un courrier séparé du même jour, il a encore indiqué à l'intéressée qu'il exigeait qu'elle se soumît à un traitement psychiatrique (au besoin couplé d'un séjour de réhabilitation physique et psychiatrique). Le 10 mai 2006, B._ s'est opposée aux décisions des 14 et 19 avril 2006, par lesquelles le droit à une allocation pour impotent avait été nié et la restitution du fauteuil roulant exigée; elle a indiqué ne pas contester les autres décisions rendues.
Par prononcé du 12 juin 2006, l'office AI a mis l'assurée au bénéfice d'une rente entière de l'assurance-invalidité, fondée sur un taux d'invalidité de 100% et assortie de rentes complémentaires pour (trois) enfants, à partir du 1er février 2004. B._ a encore requis la prise en charge des frais d'un déambulateur, ce qui lui a été refusé par décision de l'office AI du 3 janvier 2007. Par décision (sur opposition) du 17 juillet suivant, l'administration a rejeté l'opposition de l'assurée et confirmé sa décision du 14 avril 2006.
B. En temps voulu, B._ a déféré les décisions des 3 janvier et 17 juillet 2007 au Tribunal cantonal des assurances du canton du Valais. Après avoir joint les causes, le Tribunal a, par jugement du 24 juin 2008, admis les recours. Annulant les décisions des 3 janvier et 17 juillet 2007, il a reconnu le droit de l'assurée à la mise à disposition d'un fauteuil roulant manuel postérieurement au 30 avril 2006 et renvoyé le dossier à l'intimé pour instruction complémentaire "dans le sens des considérants 2. a)dd et 2. b)cc et nouvelles décisions concernant le droit de la recourante à un déambulateur et à une allocation pour impotence".
C. Agissant par la voie du recours en matière de droit public, l'office AI conclut, sous suite de frais, à l'annulation partielle du jugement du 24 juin 2008 dans le sens où le Tribunal cantonal valaisan des assurances a constaté qu'une allocation pour impotence aurait dû être accordée à B._ et admis qu'elle bénéficiait d'un fauteuil roulant manuel postérieurement au 30 avril 2006. Il demande également que l'affaire soit retournée au Tribunal pour que celui-ci statue à nouveau sur le droit aux dépens. Il a encore sollicité l'effet suspensif à son recours, ce qui lui a été refusé par ordonnance du 7 octobre 2008.
B._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le dispositif du jugement entrepris a pour objet l'annulation des décisions du recourant des 3 janvier et 17 juillet 2007 (chiffre 2), la reconnaissance du droit de l'intimée à la mise à disposition d'un fauteuil roulant manuel au-delà du 30 avril 2006 (chiffre 3), et le renvoi du dossier au recourant pour instruction complémentaire "dans le sens des considérants 2. a)dd et 2. b)cc et nouvelles décisions concernant le droit de [l'assurée] à un déambulateur et à une allocation pour impotence" (chiffre 4).
2. 2.1 Eu égard à ses conclusions, le recourant conteste, tout d'abord, la décision de renvoi des premiers juges en tant qu'elle porte sur le droit de l'intimée à une allocation pour impotent. Il ne s'en prend en revanche pas à la décision de renvoi relative au droit de l'assurée à un déambulateur (cf. consid. 2a/dd du jugement entrepris), de sorte que cette décision n'a pas à être examinée plus avant.
2.2 En tant qu'il renvoie le dossier à l'administration pour instruction complémentaire et nouvelle décision sur le droit à une allocation pour impotent, l'arrêt dont est recours doit être qualifié de décision incidente qui peut être attaquée aux conditions de l'<ref-law>.
Dans le considérant 2b/cc auquel renvoie le dispositif du jugement cantonal, les premiers juges ont admis "qu'une rente pour impotence aurait dû être accordée à l'assurée", mais considéré qu'ils n'étaient pas à même, en l'état du dossier, de se déterminer sur le degré de gravité de l'impotence de l'intimée depuis février 2005, si bien qu'une instruction complémentaire au niveau administratif se révélait nécessaire. Nonobstant la formulation du chiffre 4 du dispositif, il ressort des motifs de l'arrêt entrepris, qui doit être interprété non pas de manière littérale, mais conformément à sa signification juridique concrète (cf. <ref-ruling> consid. 1a p. 497 et les références), que les premiers juges ont reconnu le droit de l'intimée à une allocation pour impotent au moins de degré faible en février 2005. Le droit à une prestation pour impotence faible, moyenne ou grave prend naissance lorsque l'assuré, en raison d'une atteinte à la santé physique, mentale ou psychique, a été dépendant de façon permanente de l'aide d'autrui pendant une année au moins en moyenne dans une mesure suffisante pour atteindre l'un des trois degrés d'impotence. La prétention au sens de l'<ref-law> ne peut dès lors être reconnue en quelque sorte "dans son principe" seulement, sans que l'impotence, comme condition du droit, atteigne l'un des degrés prévus par l'<ref-law>, soit au moins le degré faible. Par conséquent, le renvoi ordonné par la juridiction cantonale a pour but de déterminer si c'est une allocation pour une impotence d'un degré supérieur (soit moyen ou grave) qui doit être accordée à l'intimée.
Il s'agit dès lors d'un arrêt de renvoi qui ne laisse plus de latitude de jugement à l'administration sur l'une des prestations d'assurance litigieuses: la juridiction cantonale a reconnu le droit à une allocation pour impotence de degré faible (au moins), seule la question d'une éventuelle prestation plus élevée (correspondant à un degré d'impotence moyen ou grave) étant encore ouverte. Aussi, quel que soit le résultat des mesures d'instruction complémentaires ordonnées par l'autorité judiciaire de première instance, le recourant est-il tenu de rendre une décision qui, selon lui, est contraire au droit fédéral. En cela, il subit - comme il le soutient à juste titre - un préjudice irréparable au sens de l'<ref-law> (sur cette notion, voir <ref-ruling> consid. 3.1 p. 87, 134 III 188 consid. 3.1 et 2.2 p. 190 s., 133 V 477 consid. 5.2.1 p. 483, 645 consid. 2.1 p. 647). Il y a dès lors lieu d'entrer en matière sur les conclusions du recourant concernant le droit à l'allocation pour impotent.
3. Le jugement entrepris expose correctement les règles légales sur la notion d'impotence grave ou moyenne (<ref-law>, <ref-law> et l'<ref-law>) et la jurisprudence sur les six actes élémentaires de la vie quotidienne déterminants pour évaluer l'impotence (<ref-ruling> consid. 3a p. 90). Il suffit d'y renvoyer.
4. 4.1 La juridiction cantonale a d'abord rappelé que dans un arrêt I 9/07 du 9 février 2007, le Tribunal fédéral avait admis que pour apprécier le caractère invalidant de troubles dissociatifs de la sensibilité et de la perception, il y avait lieu d'appliquer la jurisprudence rendue en matière de troubles somatoformes douloureux (qu'elle a exposée au consid. 2b/bb de l'arrêt entrepris auquel on peut renvoyer). Elle a considéré que les principes jurisprudentiels développés dans le cadre de la détermination du taux d'invalidité pouvaient également être appliqués à l'évaluation de l'impotence, puisque l'effort de volonté nécessaire pour accomplir une activité lucrative était supérieur à celui nécessaire pour pouvoir effectuer les actes de la vie quotidienne.
Se fondant ensuite sur les rapports des docteurs F._ (de la Clinique X._), M._ et S._ du COMAI, C._ et N._, les premiers juges ont retenu qu'ils ne pouvaient suivre l'appréciation du recourant, selon laquelle en l'absence de trouble organique et à l'aune des critères posés en matière de troubles somatoformes douloureux, on pouvait exiger de l'assurée qu'elle exécutât les activités quotidiennes à son rythme. Selon eux, une telle appréciation n'était pas suffisamment motivée du point de vue médical et se trouvait en contradiction avec les conclusions des experts du COMAI et des autres psychiatries consultés. La juridiction cantonale a par ailleurs admis que les critères posés en matière de troubles somatoformes douloureux étaient remplis et en a conclu qu'une rente pour impotence aurait dû être accordée à l'intimée. Constatant cependant qu'ils ne disposaient pas des éléments nécessaires pour déterminer le degré de gravité de l'impotence, en particulier l'évolution de ce degré depuis la demande de février 2005, les premiers juges ont ordonné le renvoi de la cause à l'administration pour instruction complémentaire sur ce point.
4.2 Contestant que les critères appliqués par la juridiction cantonale soient réalisés, le recourant lui reproche d'avoir reconnu à l'intimée le droit à une allocation pour impotent. Selon lui, les premiers juges auraient dû laisser ouverte la question du droit à cette prestation au vu des incertitudes qui subsisteraient sur la gravité du trouble psychique et lui renvoyer la cause pour instruction complémentaire et nouvelle décision.
4.2 Contestant que les critères appliqués par la juridiction cantonale soient réalisés, le recourant lui reproche d'avoir reconnu à l'intimée le droit à une allocation pour impotent. Selon lui, les premiers juges auraient dû laisser ouverte la question du droit à cette prestation au vu des incertitudes qui subsisteraient sur la gravité du trouble psychique et lui renvoyer la cause pour instruction complémentaire et nouvelle décision.
4.3 4.3.1 Les critères examinés par l'autorité de recours de première instance (entre autres éléments: processus maladif s'étendant sur plusieurs années sans rémission durable, affections corporelles chroniques, échec de traitements ambulatoires ou stationnaires conformes aux règles de l'art, existence d'un état psychique cristallisé) ont été dégagés par le Tribunal fédéral pour permettre d'apprécier le caractère invalidant de troubles somatoformes douloureux (<ref-ruling> et 131 V 50), puis de la fibromyalgie (<ref-ruling>), ainsi que du syndrome chronique de fatigue ou de neurasthénie (arrêt I 70/07 du 14 avril 2008), en rapport avec l'incapacité de travail que ces atteintes spécifiques sont susceptibles d'entraîner. L'examen de ces facteurs permet de répondre à la question de savoir si la présomption que les troubles somatoformes douloureux ou leurs effets peuvent être surmontés par un effort de volonté raisonnablement exigible - et qu'on peut donc attendre de l'intéressé qu'il réintègre (entièrement ou partiellement) le processus du travail - peut être renversée.
4.3.2 Il est douteux que les critères jurisprudentiels en cause puissent être appliqués, d'une part, dans le cadre de troubles dissociatifs de conversion mixte (F44.7) - diagnostic qui se distingue de celui de troubles somatoformes douloureux sous plusieurs aspects (cf. avis du docteur O._ du 31 janvier 2006) - et, d'autre part, pour évaluer non pas les répercussions de l'atteinte à la santé sur la capacité de travail de l'assuré du point de vue du droit à une rente d'invalidité, mais sur l'aptitude de celui-ci à effectuer les actes de la vie quotidienne sous l'angle du droit à une allocation pour impotent. Il n'est cependant pas nécessaire de répondre à cette question. Pour les raisons qui suivent, le jugement entrepris n'apparaît en effet pas contraire au droit en ce qui concerne la prestation ici en cause.
4.3.3 Indépendamment de l'examen des facteurs jurisprudentiels, la juridiction cantonale a retenu que le caractère invalidant de l'atteinte à la santé (trouble de conversion) présentée par l'intimée n'était pas contesté, puisque celle-ci avait été mise au bénéfice d'une rente entière de l'assurance-invalidité à partir du 1er février 2004 (par décision du 12 juin 2006), compte tenu d'une incapacité totale de travail dans toute activité et une incapacité totale d'effectuer les tâches ménagères.
Il est incontesté, a fortiori, que l'intimée souffre d'une atteinte à la santé psychique (au sens des art. 9 et 3 LPGA). En ce qui concerne les répercussions de celle-ci sur le besoin d'aide d'autrui ou de surveillance personnelle pour l'accomplissement des actes élémentaires de la vie quotidienne, les premiers juges ont fait leurs les conclusions des experts psychiatres, en particulier du docteur O._ (avis du 31 janvier 2006), selon lesquelles les troubles en cause présentaient une gravité telle qu'ils entraînaient une quasi entière incapacité à accomplir les actes de la vie quotidienne. Cette constatation n'apparaît ni manifestement inexacte, ni contraire au droit (art. 105 al. 1 et 2 LTF) au regard des pièces médicales au dossier: l'avis du docteur O._ précise celui de ses confrères du COMAI, qui avaient fait état d'un total dysfonctionnement sur le plan psychique et physique, et est confirmé par celui du docteur C._, selon lequel le syndrome de conversion entraînait une perte presque complète de mobilité et d'autonomie chez sa patiente (rapport du 20 juin 2007). Si cette constatation ne permet pas de comprendre quelle est l'étendue exacte des empêchements de l'intimée en relation avec les actes ordinaires de la vie, elle suffit cependant pour admettre que l'assurée réalisait à ce moment les conditions d'une impotence au moins de degré faible au sens des <ref-law> et 37 al. 3 RAI. Aussi, la juridiction cantonale était-elle en droit de reconnaître la prétention de l'intimée à une allocation pour impotent (de degré faible au moins) et d'ordonner des mesures d'instruction en relation avec un éventuel degré supérieur d'impotence depuis février 2005 (date de la demande d'allocation pour impotent).
5. Le recourant reproche ensuite à la juridiction cantonale d'être entrée en matière sur les conclusions de l'intimée relatives au maintien du droit à un fauteuil roulant manuel au-delà du 30 avril 2006. Dès lors qu'il ne s'était pas encore prononcé sur l'opposition de l'intimée à sa décision du 19 avril 2006, le recours de l'intimée sur ce point était irrecevable.
5.1 Par la décision du 19 avril 2006, le recourant a considéré que la remise en prêt d'un fauteuil roulant à l'intimée n'était pas justifiée par son état de santé et que le prononcé y relatif (du 5 juillet 2004) était manifestement erroné; il a dès lors "limité" la décision initiale au 30 avril 2006 et ordonné (par courrier séparé) la restitution du moyen auxiliaire en cause. Dans une écriture du 10 mai 2006, complétée le 29 septembre suivant, l'intimée s'est opposée à la restitution du fauteuil roulant, de même qu'au refus de l'allocation pour impotent (objet de la décision du 14 avril 2006). Statuant sur opposition le 17 juillet 2007, l'office AI a retenu que les troubles psychiques dont souffrait l'intimée ne se manifestaient pas avec suffisamment de sévérité pour exclure toute possibilité pour celle-ci d'accomplir de manière autonome les différents actes ordinaires de la vie ou pour faire face aux nécessités de la vie. En conséquence, il a rejeté l'opposition de l'intimée (ch. 1 du dispositif) et confirmé la décision du 14 avril 2006 (ch. 2 du dispositif). L'intimée a déféré ce prononcé à la juridiction cantonale, en concluant notamment à l'annulation de la décision du 17 juillet 2007 et à ce qu'elle soit mise au bénéfice d'une allocation pour impotence et des moyens auxiliaires qui lui sont nécessaires.
5.2 Il ressort tant des considérants que du dispositif de la décision sur opposition du 17 juillet 2007 que ce prononcé portait exclusivement sur le droit de l'assurée à une allocation pour impotent. Le recourant n'y a en revanche pas examiné les objections de l'intimée contre sa décision du 19 avril 2006, ni statué sur la question de la reconsidération de la remise en prêt du fauteuil roulant avec effet au 1er mai 2006. Contrairement à ce qu'a admis la juridiction cantonale, selon laquelle la demande de restitution du fauteuil roulant manuel aurait été confirmée par la décision sur opposition du 17 juillet 2007, ce point n'a pas été tranché par l'office AI. Celui-ci reste tenu de se prononcer par une décision sur opposition malgré l'entrée en vigueur, au 1er juillet 2006, de l'<ref-law> (qui a entraîné la suppression de la procédure d'opposition dans le domaine de l'assurance-invalidité; let. b des dispositions transitoires relatives à la modification du 16 décembre 2005 [mesures de simplification de la procédure]). Aussi, en l'absence d'une décision sur opposition concernant le rapport juridique qui avait fait l'objet de la décision du 19 avril 2006 et à propos duquel l'intimée avait manifesté son désaccord par opposition du 10 mai suivant, les conclusions de l'assurée relatives aux "moyens auxiliaires nécessaires" étaient irrecevables en instance cantonale, dans la mesure où elles portaient sur le maintien du droit au fauteuil roulant. Par ailleurs, les conditions auxquelles la juridiction cantonale pouvait étendre la procédure au-delà de l'objet de la contestation (<ref-ruling> consid. 1.2 p. 503; <ref-ruling> consid. 2a p. 36 et les arrêts cités), en incluant l'examen de la suppression du droit à la remise du fauteuil roulant, n'étaient pas réunies. En particulier, dès lors que ce point supposait l'examen des conditions spécifiques auxquelles l'administration peut revenir sur une décision entrée en force par la voie de la reconsidération, on ne pouvait parler d'un rapport suffisamment étroit entre cette question et l'objet initial du litige (le droit à l'allocation pour impotence).
Par conséquent, la juridiction cantonale n'était pas en droit d'entrer en matière sur les conclusions de l'intimée relatives au maintien du fauteuil roulant en cause, de sorte que le jugement entrepris doit être réformé sur ce point.
6. Compte tenu de l'issue du litige, dans lequel le recourant n'obtient que partiellement gain de cause, une partie des frais de justice doit être mise à sa charge (<ref-law>). L'intimée, représentée par un avocat, a droit à une indemnité de dépens réduite à la charge du recourant pour l'ensemble de la procédure (art. 68 al. 1 et 5 LTF).
Selon l'<ref-law>, si le Tribunal fédéral modifie la décision attaquée, il peut répartir autrement les frais de la procédure antérieure. Il se justifie, en l'occurrence, par souci d'économie de la procédure de répartir les frais de la procédure cantonale entre les parties.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis. Le chiffre 3 du dispositif du jugement du Tribunal cantonal valaisan des assurances du 24 juin 2008 est réformé en ce sens qu'il n'est pas entré en matière sur la question du droit à la mise à disposition d'un fauteuil roulant manuel postérieurement au 30 avril 2006. Les chiffres 5 (dépens) et 6 (frais de justice) du dispositif dudit jugement sont annulés.
2. Les frais judiciaires, arrêtés à 500 fr. pour la dernière instance et à 800 fr. pour la procédure antérieure, sont mis à raison de trois-quarts à la charge du recourant et à raison d'un quart à la charge de l'intimée.
3. Le recourant versera à l'intimée la somme de 2500 fr. à titre de dépens pour l'ensemble de la procédure.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal des assurances du canton du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 12 janvier 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Moser-Szeless