Faits :
A.
A._ a travaillé en tant que concierge et conductrice de taxi. En raison d'une rupture de la coiffe des rotateurs de l'épaule droite, elle a déposé, le 25 janvier 2010, une demande de prestations de l'assurance-invalidité. Par décision du 29 mai 2012, l'office AI a refusé à l'assurée le droit à une rente d'invalidité et à un reclassement professionnel sur la base d'une incapacité de gain de 12 %, soit un taux insuffisant pour ouvrir le droit à ces prestations.
Le 25 septembre 2012, l'assurée a déposé une nouvelle demande de prestations en indiquant qu'elle avait démissionné de son poste de concierge, son état de santé ne lui permettant plus de remplir les tâches liées à cette activité. Par décision du 11 mars 2013, l'office AI a rejeté cette nouvelle demande de prestations, motif pris que le taux d'invalidité était demeuré inchangé (12 %) depuis la dernière décision.
B.
Par jugement du 10 janvier 2014, la Cour des assurances sociales du Tribunal cantonal du Valais a très partiellement admis le recours formé par l'assurée à l'encontre de la décision du 11 mars 2013 (chiffre 1 du dispositif) en lui reconnaissant le droit à une rente entière d'invalidité du 1er juillet au 31 décembre 2012 (chiffre 2 du dispositif).
C.
L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Sous suite de frais, il conclut à la confirmation de sa décision du 11 mars 2013.
Dans sa réponse du 14 mars 2014, A._ se limite à contester le taux d'invalidité de 12 % sans formuler de conclusions précises. L'Office fédéral des assurances sociales renonce à se déterminer.

Considérant en droit :
1.
1.1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 476 et les références).
1.2. Sans renvoyer le dossier à l'administration, le jugement entrepris réforme la décision de l'office AI en reconnaissant à l'intimée le droit à une rente entière d'invalidité du 1er juillet au 31 décembre 2012 (chiffre 2 du dispositif). Il s'agit d'une décision finale contre lequel le recours en matière de droit public est recevable (cf. <ref-law>).
1.3. Dans sa réponse, l'intimée ne dépose pas de conclusions formelles. À cet égard il convient d'observer que de toute façon le délai pour recourir contre le jugement du 10 janvier 2014 était déjà largement échu lors du dépôt de la réponse, de sorte que des éventuelles nouvelles conclusions n'étaient pas recevables. L'intimée ne pouvait que proposer l'irrecevabilité ou le rejet, en tout ou partie, du recours introduit par l'office AI et n'avait plus la faculté de prendre des conclusions indépendantes, vu l'interdiction du recours joint (<ref-ruling> consid. 2.5 p. 335 sv.; ATF 8C_312/2010 du 15 décembre 2011 consid. 2.1).
2.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération.
3.
3.1. Compte tenu des motifs et des conclusions du recours, le litige porte uniquement sur le bien-fondé du droit de l'intimée - tel que reconnu par les premiers juges - à une rente entière d'invalidité limitée dans le temps, soit du 1er juillet au 31 décembre 2012.
3.2. En bref, la juridiction cantonale a constaté que l'état de santé de l'intimée s'était aggravé de façon passagère entraînant une incapacité de travail et de gain totale entre le 18 avril et le 8 octobre 2012 (cf. jugement entrepris consid. "en droit" 2.2). Ces constatations lient le Tribunal fédéral (<ref-law>).
En raison de cette aggravation, les premiers juges ont reconnu à l'intimée le droit à une rente entière d'invalidité à partir du 1er juillet 2012, soit trois mois après l'aggravation de son état de santé survenu le 18 avril 2012, en application de l'<ref-law>. Ce droit devait prendre fin le 31 décembre 2012, soit trois mois après l'amélioration de la capacité de gain de l'intimée (<ref-law>).
4.
4.1. Aux termes de l'<ref-law> l'assuré a droit à une rente aux conditions suivantes: a. sa capacité de gain ou sa capacité d'accomplir ses travaux habituels ne peut pas être rétablie, maintenue ou améliorée par des mesures de réadaptation raisonnablement exigibles; b. il a présenté une incapacité de travail (<ref-law>) d'au moins 40 % en moyenne durant une année sans interruption notable; c. au terme de cette année, il est invalide (<ref-law>) à 40 % au moins. Selon l'<ref-law>, le droit à la rente prend naissance au plus tôt à l'échéance d'une période de six mois à compter de la date à laquelle l'assuré a fait valoir son droit aux prestations conformément à l'<ref-law>, mais pas avant le mois qui suit le 18e anniversaire de l'assuré.
4.2. Dans un premier grief, le recourant reproche à la juridiction cantonale de ne pas avoir respecté le délai d'attente prévu à l'<ref-law>. Selon lui, dès lors que l'incapacité de travail justifiée médicalement a débuté le 18 avril 2012, le droit à la rente n'aurait pu naître que le 17 avril 2013, soit au plus tôt à l'échéance du délai de carence d'une année. Or, à ce moment-là, l'intimée présentait à nouveau une pleine capacité de travail dans tout emploi léger et adapté à ses limitations fonctionnelles, ainsi qu'un taux d'invalidité de 12 %, soit un taux inférieur à celui ouvrant le droit à une rente d'invalidité. Pour ce motif déjà, les premiers juges auraient donc reconnu à tort le droit de l'intimée à une rente entière de l'assurance-invalidité à compter du 1er juillet 2012. La question soulevée par l'office AI peut rester ouverte car le recours doit être admis pour les raisons exposées ci-dessous.
4.3. Comme le relève à juste titre le recourant dans un second grief, le droit à une rente d'invalidité ne pouvait de toute façon pas prendre naissance au regard de l'<ref-law>. Cette disposition s'applique en cas de nouvelle demande à la suite d'un refus de prestations car il s'agit d'un nouveau cas d'assurance. En d'autres termes, lors du dépôt d'une nouvelle demande à la suite d'un premier refus de prestations de l'assurance-invalidité, la naissance du droit à la rente d'invalidité reste subordonnée aux conditions prévues aux art. 28 et 29 LAI (cf. <ref-ruling> consid. 5.3 p. 7 et arrêt 9C_901/2012 du 21 mai 2013 consid. 6). Ainsi, dès lors que l'intimée a déposé sa nouvelle demande de prestations le 25 septembre 2012, le versement d'une éventuelle rente d'invalidité ne pouvait intervenir que six mois plus tard, soit à compter du 1er mars 2013 (art. 29 al. 1 et 3 LAI). Or, à cette date, l'intimée avait déjà recouvré - depuis plus que trois mois - une pleine capacité de travail dans une activité adaptée à ses limitations fonctionnelles, justifiant un taux d'invalidité de 12 %. Ce taux est insuffisant pour ouvrir le droit à une rente d'invalidité. En ces circonstances, l'intimée ne peut prétendre le versement d'une rente de l'assurance-invalidité même limitée dans le temps.
4.4. Par conséquent, en tant qu'ils ont reconnu le droit de l'intimée à une rente d'invalidité du 1er juillet au 31 décembre 2012, les premiers juges ont violé le droit fédéral. Il convient de réformer le jugement entrepris en ce sens qu'aucune rente d'invalidité n'est due en faveur de l'intimée et que la décision de l'office AI du 11 mars 2013 est confirmée.
5.
Vu l'issue du litige, les frais afférents à la présente procédure seront supportés par l'intimée qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. Les chiffres 1 et 2 du dispositif du jugement du Tribunal cantonal valaisan, Cour des assurances sociales, du 10 janvier 2014, sont réformés en ce sens que le recours de A._ est rejeté (chiffre 1) et que la décision de l'Office cantonal AI du Valais du 11 mars 2013 est confirmée (chiffre 2).
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimée.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal valaisan, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 13 juin 2014
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : La Greffière :
Meyer Reichen