Faits:
A. A.a P._, née en 1963, a travaillé depuis 1988 comme secrétaire de direction auprès du Service X._, unité rattachée au Département Y._ du canton du Valais. Le Conseil d'Etat du canton du Valais l'a régulièrement reconduite dans ses fonctions, la dernière fois pour la période administrative 2006-2009.
En mars 2008, la direction du Service X._ a tenu une séance à la demande d'une collaboratrice qui se plaignait des accusations portées contre elle par P._. Lors de cette séance, le chef de service a enjoint la prénommée à respecter plusieurs exigences en vue de rétablir la bonne marche du secrétariat. Ces injonctions n'ont pas été suivies d'effet, de sorte que la direction du Service X._ a tenu une nouvelle séance le 5 mai 2008, puis a sollicité l'aide du Service du personnel de l'Etat du Valais, le 6 octobre suivant. Le 29 octobre 2008, P._ a été rendue attentive à la nécessité de commencer le travail à 8h00; elle n'a toutefois pris aucun engagement quant au respect de cette consigne. Elle a par la suite été convoquée à une visite médicale auprès du médecin-conseil de l'Etat du Valais, à laquelle elle ne s'est toutefois pas rendue. Cette convocation lui avait été adressée conformément à une décision du 8 octobre 2008 du chef du Département Y._ de la soumettre à un examen médical pour évaluer sa capacité de travail. P._ n'a pas davantage donné suite aux suggestions du Service X._ de consulter un médecin pour faire le point sur sa situation ou de s'adresser aux services de la consultation sociale de l'Etat. Elle a persisté dans son attitude inadéquate sur le lieu de travail, agressant verbalement ses collègues et prenant des libertés avec les horaires de travail et les consignes relatives à l'exécution de ses tâches.
Le 13 février 2009, la direction du Service X._ a informé P._ du fait qu'en raison de son comportement, qui entravait la bonne marche du service, elle envisageait de proposer au Conseil d'Etat l'ouverture d'une procédure disciplinaire avec suspension provisoire de l'engagement. L'intéressée n'a pas présenté d'observation.
Le 18 mars 2009, son comportement au travail a conduit le Service X._ à demander son admission d'urgence à l'hôpital psychiatrique Z._. L'employée a présenté une incapacité de travail totale jusqu'au 24 juin 2009.
A.b Le 29 avril 2009, le Conseil d'Etat a ouvert une procédure disciplinaire à l'encontre de P._ et l'a provisoirement suspendue dans l'exercice de ses fonctions, avec maintien du traitement. Il a motivé ces mesures par l'attitude de la prénommée envers ses collègues et le mauvais climat de travail qui en résultait pour le Service X._.
Entendue le 8 juin 2009 par la commission disciplinaire, P._ a admis les manquements professionnels reprochés, mais a allégué qu'ils résultaient d'une maladie psychique dont elle souffrait. Elle suivait désormais un traitement médicamenteux qui lui permettrait d'adopter un comportement adéquat. Dans une lettre du 15 juin 2009 à la commission disciplinaire, elle s'est étonnée de la procédure engagée par le Service X._ alors qu'il connaissait sa maladie psychique depuis 1997; elle a par ailleurs soutenu qu'elle n'avait pas pu valablement se défendre devant la commission, puisqu'elle était en arrêt de travail pour cause de maladie depuis le 18 mars 2009, et a évoqué les pressions qu'elle avait subies de la part de ses collègues avant même le déclenchement de l'affection psychique qui l'avait conduite à se replier sur elle-même.
Par décision du 17 juin 2009, le Conseil d'Etat a clos la procédure disciplinaire en constatant une violation fautive de ses devoirs de service par P._ et en prononçant, pour ce motif, une décision de mise au provisoire pour une durée d'une année dès le 1er juillet 2009.
A.c Entre-temps, la direction du Service X._ avait informé P._, le 20 mai 2009, du fait qu'elle proposerait au Conseil d'Etat de ne pas la reconduire dans ses fonctions pour la prochaine période administrative, en raison des problèmes posés par son comportement. P._ a objecté que les manquements reprochés était dus à l'atteinte à la santé dont elle souffrait. Elle avait suivi un traitement médicamenteux pendant plusieurs années, qu'elle avait interrompu, provoquant ainsi une rechute. Elle suivait à nouveau le traitement et ne présentait plus de symptômes, de sorte qu'elle était à nouveau apte à travailler au poste qu'elle avait occupé durant 21 ans.
Le 10 juin 2009, le Conseil d'Etat a décidé de ne pas renouveler les rapports de service de P._ pour la période 2010-2013. La décision était motivée par la durée du comportement en cause, les multiples occasions que l'intéressée avait eues d'y remédier et le pronostic défavorable qui découlait des traits de caractère qui avaient été observés.
B. B.a P._ a recouru devant le Tribunal cantonal valaisan contre les deux décisions des 10 et 17 juin 2009 du Conseil d'Etat, dont elle a demandé l'annulation, sous suite de frais et dépens. Sans contester la réalité des manquements reprochés (détérioration des relations avec ses collègues, refus de rencontrer le médecin-conseil de l'Etat du Valais et de s'acquitter de diverses tâches, etc.), elle a fait grief au Conseil d'Etat de les lui avoir imputés à faute, alors qu'ils étaient dus aux symptômes de la maladie psychique dont elle souffrait. A l'appui de son recours, elle a produit un certificat établi le 24 juin 2009 par son médecin traitant, le docteur R._, et s'est référée aux bonnes qualifications qui lui avaient été attribuées lors des évaluations annuelles antérieures à 2008. Elle a souligné, en particulier, avoir reçu une évaluation A+ (exigences du poste nettement dépassées) pour son comportement social en 2007; l'évaluation C (exigences non satisfaites) attribuée en 2008 s'expliquait uniquement par la maladie pour laquelle elle avait finalement dû être hospitalisée d'urgence en mars 2009. Elle a demandé que son médecin traitant soit entendu par la juridiction cantonale et a réservé une demande d'expertise médicale pour le cas où cette audition ne pourrait pas être pratiquée.
Le Tribunal cantonal a joint les causes et rejeté les deux recours par jugement du 16 octobre 2009, en refusant d'entendre le docteur R._ et d'ordonner une expertise médicale.
B.b Saisi d'un recours de P._, le Tribunal fédéral l'a admis en ce sens que le jugement cantonal a été annulé et la cause renvoyée au Tribunal cantonal valaisan pour qu'il statue à nouveau après avoir donné suite à l'offre de preuve de l'intéressée de manière à respecter son droit d'être entendue (arrêt 8C_983/2009 du 16 décembre 2010).
En conséquence, le Tribunal cantonal a procédé le 14 mars 2011 à l'audition du docteur R._, qui a fait état de la nature de l'affection dont souffre sa patiente et de ses effets, ainsi que du traitement suivi entre 1999 et 2006, puis repris dès le 16 avril 2009. La juridiction cantonale a également fait verser à la procédure deux rapports (des 18 mars et 21 avril 2009) des Institutions V._ relatifs au séjour de l'intéressée à l'hôpital psychiatrique Z._. Au cours de l'échange d'écritures ordonné par le Tribunal cantonal, le Conseil d'Etat a rendu une décision, le 1er juin 2011, par laquelle il a annulé la décision de mise au provisoire pour la durée d'une année dès le 1er juillet 2009. P._ a alors demandé le classement du recours dirigé contre la mise au provisoire et maintenu ses conclusions relatives à la décision portant sur le non-renouvellement des rapports de service.
Par jugement du 9 septembre 2011, le Tribunal cantonal a classé le recours contre la sanction disciplinaire et rejeté les autres conclusions pour le surplus.
C. P._ interjette un recours en matière de droit public contre ce jugement. Sous suite de frais et dépens, elle conclut à son annulation, ainsi qu'à celle de la décision du Conseil d'Etat du 10 juin 2009.
Le Conseil d'Etat conclut au rejet du recours. P._ a maintenu ses conclusions par écriture du 22 décembre 2011.
Considérant en droit:
1. 1.1 Le jugement entrepris a été rendu en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. La recourante conclut à l'annulation de la décision administrative relative au non-renouvellement des rapports de travail pour la période administrative 2010-2013 et entend ainsi obtenir sa réintégration pour une durée indéterminée et donc le paiement de son salaire pendant plusieurs mois, voire plusieurs années. Ses conclusions revêtent par conséquent une nature pécuniaire et la valeur litigieuse atteint le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public dans ce domaine (art. 51 al. 2 et 85 al. 1 let. b LTF), le motif d'exclusion de l'art. 83 let. g LTF n'entrant pas en considération.
Pour le surplus, le recours est dirigé contre un arrêt final (art. 90 LTF) rendu en matière de droit public (art. 82 ss LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi. Il est donc recevable.
2. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation des faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire arbitraire, ce qui lui appartient de démontrer par une argumentation répondant aux exigences de l'art. 42 al. 2 LTF, respectivement de l'art. 106 al. 2 LTF (ATF 134 V 53 consid. 4.3 p. 62; 133 II 249 consid. 1.4.3 p. 254 s.).
Par ailleurs, sauf dans les cas prévus par l'art. 95 let. c à e LTF, qui n'entrent pas en considération en l'espèce, le Tribunal fédéral n'examine la mauvaise application du droit cantonal que si elle constitue une violation du droit fédéral (cf. art. 95 LTF) parce qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (ATF 135 V 2 consid. 1.3 p. 4; 133 III 462 consid. 2.3 p. 466; 133 II 249 consid. 1.2.1 p. 251).
3. 3.1 Au vu des conclusions et motifs du recours, la recourante ne remet pas en cause le jugement entrepris en tant qu'il classe le recours interjeté contre la sanction disciplinaire, de sorte que le litige porte uniquement sur le non-renouvellement des rapports de travail. Comme l'expose à juste titre la juridiction cantonale, il doit être examiné à la lumière des dispositions de la loi cantonale fixant le statut des fonctionnaires et employés de l'Etat du Valais du 11 mai 1983 (loi sur le statut des fonctionnaires; LStF), abrogée depuis l'entrée en vigueur au 1er juillet 2011 de la loi cantonale sur le personnel de l'Etat du Valais du 19 novembre 2010 (LPEV; RS/VS 172.2), dès lors que la procédure était encore pendante devant le Tribunal cantonal à ce moment-là (cf. art. 69 et 72 LPEV). Demeure réservée l'application de l'art. 66 LPEV.
3.2 Sous le titre «Renouvellement des rapports de service/Cessation des rapports de service à la fin de la période administrative», l'art. 35 LStF prévoit que sauf décision contraire de l'autorité de nomination, à la fin de la période administrative, le rapport de service est renouvelé tacitement pour la prochaine période administrative (al. 1). La décision de l'autorité de nomination de ne pas renommer un fonctionnaire doit lui être notifiée au plus tard jusqu'au 30 juin précédant la fin de la période administrative (al. 2).
L'art. 1 al. 2 let. c de l'arrêté du Conseil d'Etat valaisan du 12 novembre 2008 relatif au renouvellement des rapports de service des fonctionnaires de l'administration cantonale pour la période administrative 2010-2013 dispose que ne peuvent être renouvelés pour la nouvelle période administrative les rapports de service des fonctionnaires qui ne satisfont pas aux exigences de la fonction quant aux prestations et au comportement.
3.3 Tel que prévu par l'art. 35 al. 1 LStF, le système de renouvellement périodique (chaque quatre ans) des rapports de service nécessite un réengagement (RVJ 2003 p. 93 consid. 3a p. 96). L'autorité qui renomme est en principe libre de sa décision. Selon la jurisprudence, même si un fonctionnaire n'a aucun droit à être réélu, le non-renouvellement de ses rapports de service doit cependant être motivé par une raison pertinente (arrêt 1C_116/2007 du 24 septembre 2009 consid. 4.2; ATF 119 Ib 99 consid. 2a p. 101; 103 Ib 321 consid. 1 p. 323 et les arrêts cités). On parle à cet égard de l'exigence d'un motif objectif suffisant ou de motifs plausibles, qui doivent justifier une non-réélection (PETER HÄNNI, La fin des rapports de service en droit public, in RDAF 1995 p. 417). Il ne doit toutefois pas nécessairement s'agir d'un motif qui justifierait également une sanction disciplinaire ou qui constituerait un juste motif de licenciement. Même des diminutions non fautives des capacités de travail justifient une non-réélection; une faute de la part du fonctionnaire n'est pas nécessaire (GRISEL, Traité de droit administratif, vol. I, Neuchâtel 1984, p. 503). L'aspect déterminant est en fait l'incapacité objective du fonctionnaire à assumer correctement ses tâches en raison de son comportement (consid. 3 non publié de l'ATF 103 Ib 321; PETER HÄNNI, op. cit.). L'autorité de nomination doit considérer l'ensemble des actes de l'intéressé et déterminer sa capacité de continuer à remplir les devoirs de sa charge (cf. ATF 103 Ib 321 consid. 1 p. 323; 99 Ib 233 consid. 3 p. 236-237). L'impression d'ensemble est déterminante. Des doutes sérieux sur la compétence du fonctionnaire, des prestations insuffisantes ou un comportement insatisfaisant peuvent justifier une non-réélection (MINH SON NGUYEN, La fin des rapports de service, in Personalrecht des öffentlichen Dienstes, Berne 1999, p. 424).
3.4 Il est difficile d'apprécier de l'extérieur si l'on peut reprocher à un fonctionnaire des prestations insuffisantes ou un comportement incorrect; cela nécessite en effet de tenir compte des circonstances concrètes du travail en cause et des faits qui lui sont reprochés. L'autorité de nomination dispose ainsi d'un large pouvoir d'appréciation pour appliquer ces concepts indéterminés (arrêt 1C_116/2007 du 24 septembre 2007 consid. 4.2; cf. ATF 118 Ib 164 consid. 4a p. 166). Le Tribunal fédéral se limite dès lors à examiner si la non-réélection pour de tels motifs apparaît objectivement soutenable; il n'annule pratiquement la mesure que si elle est arbitraire (ATF 103 Ib 321 consid. 1 p. 323; 101 Ia 172 consid. 3 p. 176; 99 Ib 233 consid. 3 p. 237). Tel est le cas lorsqu'elle méconnaît gravement une norme ou un principe juridique clair et indiscuté ou si elle heurte de manière choquante le sentiment de la justice ou de l'équité. Il ne suffit pas que la motivation de la décision soit insoutenable; encore faut-il qu'elle soit arbitraire dans son résultat (consid. 2.1 non publié de l'ATF 137 III 455; 137 I 1 consid. 2.4 p. 5 et les arrêts cités). En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision ou lorsqu'elle tire des constatations insoutenables des éléments recueillis (ATF 134 V 53 consid. 4.3 p. 62 et les arrêts cités).
4. 4.1 Se référant à leurs constatations de fait dans le jugement du 16 octobre 2009, les premiers juges ont considéré que le comportement de la recourante entre mars 2008 et l'hospitalisation de mars 2009 avait été inadmissible et incompatible avec l'activité de secrétaire de direction du Service X._. Objectivement, l'employeur avait donc, au 10 juin 2009, des motifs pertinents et suffisants pour ne pas renouveler les rapports de service de la recourante.
A l'inverse de son premier jugement, la juridiction cantonale n'a pas retenu de faute de la part de la recourante. Elle a cependant constaté que l'intéressée avait eu un comportement inadéquat antérieurement à l'apparition de la maladie (en octobre 2008) et n'avait pris aucune précaution pour déceler le retour de la maladie, ni réagi aux invitations à se faire soigner à cette époque. Quant à l'évolution de la situation, elle a considéré que le pronostic défavorable posé par le Conseil d'Etat le 10 juin 2009 était justifié. En premier lieu, la recourante avait réitéré, dans sa lettre du 15 juin 2009, les griefs formulés à l'encontre de ses collègues qui étaient quasi identiques à ceux recueillis lors de l'anamnèse du 18 mars 2009 au moment de l'hospitalisation aux Institutions V._. Ensuite, les insuffisances irrémédiables de la recourante relevaient de traits de caractère et non pas d'une affection guérissable. Les doutes sur le comportement futur de la recourante avaient par ailleurs été confirmés par des insuffisances ultérieures lorsque la recourante avait repris son activité, du 24 juin 2009 jusqu'à la fin de l'année 2009. Aussi, la décision de non-renouvellement des rapports de service n'était-elle pas critiquable.
4.2 Invoquant une constatation manifestement inexacte et arbitraire des faits, la recourante fait grief à la juridiction cantonale de lui reprocher de manière arbitraire et choquante un comportement qui est matériellement dû seulement à sa maladie, tout en faisant état, pour certaines périodes considérées, d'autres causes qui ne ressortiraient aucunement du dossier. Selon elle, le non-renouvellement des rapports de service par l'Etat du Valais est entaché d'arbitraire puisqu'il est lié uniquement à la manifestation momentanée de sa maladie.
4.3 Il ressort en l'espèce des faits constatés par les premiers juges - que la recourante ne conteste pas - qu'elle a eu entre mars 2008 et son hospitalisation une année plus tard un comportement inadéquat sous l'angle des rapports de service et n'a pas fourni les prestations attendues de sa charge. Il s'agit là de motifs du non-renouvellement des rapports de service qui peuvent être qualifiés de pertinents au sens rappelé ci-avant (consid. 3.3 supra). Le rôle exclusif de la maladie dans le comportement de l'intéressée, tel qu'elle l'invoque, ne change rien au fait qu'elle n'était pas capable sur une période relativement longue d'assumer correctement ses tâches, ce qui constitue un motif objectif suffisant.
Par ailleurs, vu l'impression d'ensemble des actes de la recourante, en particulier les effets de son comportement sur les relations avec ses collègues du Service X._ et ses supérieurs, l'autorité intimée et, à sa suite, l'autorité judiciaire de première instance étaient en droit de retenir que la recourante semblait incapable, en juin 2009, de continuer à remplir les devoirs de sa charge. Même dans l'hypothèse où il n'y aurait pas lieu, comme le prétend l'intéressée, de tenir compte de son courrier du 15 juin 2009, l'employeur de la recourante pouvait avoir de sérieux doutes quant à sa capacité à exercer correctement son activité dans le futur. Au moment de sa décision, il disposait des certificats médicaux du docteur R._, qui attestait d'une incapacité totale de travail jusqu'en juin 2009. La seule déclaration de la recourante selon laquelle elle avait repris le suivi médical (y compris la prise de médicaments) et se sentait à nouveau apte à reprendre son activité et complètement guérie (procès-verbal de la séance du 20 mai 2009 au Service X._ et courrier du 22 mai 2009 au Service X._) ne suffisait pas à lever l'incertitude sur son aptitude à amender son comportement à l'avenir. On ne saurait donc reprocher à l'intimé, qui était tenu en vertu de la loi de notifier sa décision de non-nomination jusqu'au 30 juin 2009 au plus tard (art. 35 al. 2 LStF), de n'avoir pas retenu à ce moment-là un pronostic favorable.
Par la suite, et au regard de l'ensemble des éléments de preuve recueillis par la juridiction cantonale (y compris donc de l'avis et des déclarations du docteur R._, ainsi que du courrier de la recourante du 15 juin 2009), celle-ci pouvait, sans arbitraire, retenir que l'attestation du médecin traitant selon laquelle sa patiente avait retrouvé sa santé dès juin 2009 ne permettait pas de lever les doutes sur la capacité de la recourante à modifier son comportement et de poser un pronostic suffisamment fiable. Le contenu du courrier du 15 juin 2009, même s'il a été rédigé en réaction à l'ouverture de la procédure disciplinaire, soulève quelques hésitations sur l'absence de symptômes depuis que la recourante a recommencé à suivre le traitement médicamenteux. La recourante ne remet par ailleurs pas en cause la constatation des premiers juges selon laquelle la reprise d'activité du 24 juin 2009 à la fin de l'année 2009 n'avait fait qu'illustrer ses insuffisances. S'ajoute à cela le fait que l'employeur de la recourante ne pouvait pas exclure tout risque de rechute, même si celui-ci pouvait être maîtrisé par un traitement adéquat, comme l'a indiqué le docteur R._ lors de son audition du 14 mars 2011.
4.4 En conséquence de ce qui précède, les premiers juges n'ont pas fait preuve d'arbitraire en considérant que le non-renouvellement des rapports de service de la recourante pour la période administrative 2010-2013 n'était pas contraire au droit.
Le recours doit, partant, être rejeté.
5. Vu l'issue de la procédure, les frais judiciaires sont mis à la charge de la recourante (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour de droit public.
Lucerne, le 10 avril 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Moser-Szeless