Faits: A. A.a. Dame A._, née en 1977, de nationalité roumaine, et A._, né en 1968, de nationalité canadienne, se sont mariés en 2011 à Vevey. Aucun enfant n'est issu de cette union. Dame A._ est mère d'un enfant, B._, né en 2004 d'une précédente union, et A._ est également père de deux enfants nés d'une précédente union, à savoir C._, née en 2001, et D._, né en 2003. Les parties se sont séparées une première fois durant deux mois dès le 27 janvier 2012, séparation qui a conduit Dame A._ à déposer une première requête de mesures protectrices de l'union conjugale qu'elle a finalement retirée. Les parties se sont définitivement séparées le 13 août 2012. A.b. Avant le 1er janvier 2011, A._ était salarié d'une assurance et percevait à ce titre un revenu mensuel net moyen de l'ordre de 20'605 fr. 85. A compter de cette date, il a repris l'une des agences de son employeur en qualité d'agent principal indépendant. Pour l'année 2012, il ressort des comptes de son agence un chiffre d'affaires des ventes et prestations de services de 747'490 fr. 75 pour des dépenses de 705'750 fr. 90, soit un solde positif de 41'739 fr. 85. L'autorité cantonale a toutefois retenu à titre de salaire mensuel un montant de 12'000 fr. du moins pour l'année 2012 et le début de 2013. Ce montant est contesté par A._. Ses charges mensuelles ont été arrêtées à 5'862 fr. 90, de sorte que l'autorité cantonale a retenu un disponible mensuel de 6'137 fr. A.c. Avant le mariage, Dame A._ travaillait à 100% en qualité de serveuse. A compter du mariage, elle a progressivement diminué son activité professionnelle pour l'interrompre complètement après six mois de cohabitation, tout en effectuant de temps à autre des extras dans la restauration. Depuis le mois d'août 2012 jusqu'à la fin du mois de janvier 2013, elle a été en incapacité totale de travail. La durée de son incapacité de travail est toutefois contestée. Elle n'a perçu aucun revenu jusqu'au mois de novembre 2012, date à compter de laquelle elle a bénéficié mensuellement d'un revenu d'insertion de 2'900 fr. jusqu'au 31 décembre 2012, puis de 2'965 fr. à compter du 1er janvier 2013. En décembre 2012 et janvier 2013, elle a également perçu des prestations de l'assurance-chômage qui ont toutefois intégralement été reversées au Service social de Lausanne. Ses charges mensuelles - partiellement contestées - ont été arrêtées à 2'940 fr. pour l'année 2012 et à 3'393 fr. 40 pour l'année 2013, de sorte que son budget présente un manco de 2'940 fr. du 1er août au 31 octobre 2012, un manco de 40 fr. du 1er novembre 2012 au 31 décembre 2012 (2'900 fr. - 2'940 fr.) et un manco de 428 fr. 40 à compter du 1er janvier 2013 (2'965 fr. - 3'393 fr. 40). B. B.a. Par ordonnance de mesures superprovisionnelles de l'union conjugale rendue le 16 août 2012 sur requête de l'épouse, le Président du Tribunal civil de l'arrondissement de Lausanne (ci-après: le Président) a donné ordre au mari de verser à son épouse la somme de 3'000 fr. à faire valoir sur la contribution d'entretien à fixer ultérieurement et lui a fait interdiction d'approcher son épouse à moins de vingt mètres et de la contacter de quelque manière que ce soit, sous la menace de la peine d'amende prévue par l'art. 292 CP. Par ordonnance de mesures superprovisionnelles de l'union conjugale rendue le 21 août 2012 à la demande du mari, le Président a attribué la jouissance de l'appartement conjugal à celui-ci et a donné ordre à l'épouse de lui restituer dans les 48 heures à réception de la décision les clés de l'appartement conjugal et de son véhicule. B.b. Par ordonnance de mesures protectrices de l'union conjugale rendue le 14 janvier 2013, le Président a rappelé la convention partielle signée par les parties à l'audience du 25 septembre 2012 et l'a ratifiée séance tenante pour valoir ordonnance de mesures protectrices de l'union conjugale. A cette occasion, les parties se sont mises d'accord sur le principe de la séparation, le fait que la jouissance de l'appartement conjugal soit attribuée au mari, le fait que ce dernier ne doive pas s'approcher de son épouse et les divers biens que cette dernière pouvait venir chercher au domicile conjugal. Le Président a de surcroît notamment ordonné à l'époux de restituer à son épouse, dans un délai de sept jours dès réception de l'ordonnance, un ordinateur portable et l'ensemble des objets mentionnés par elle dans sa requête du 9 octobre 2012 (ch. II et III) et l'a condamné à verser en mains de son épouse une pension mensuelle de 4'700 fr. payable d'avance le premier de chaque mois dès et y compris le 1er septembre 2012 et pour une durée de six mois à compter de la fin de l'incapacité de travail de celle-ci (ch. V). B.c. Par arrêt du 27 mars 2013, la Juge déléguée de la cour d'appel civile du Tribunal cantonal vaudois (ci-après: la Juge déléguée) a partiellement admis autant l'appel interjeté par A._ contre cette décision que celui interjeté par Dame A._. Elle a réformé le chiffre V de la décision entreprise en ce sens que A._ a été condamné à contribuer à l'entretien de son épouse par le versement d'une pension mensuelle de 4'005 fr. 70 du 1er août au 31 octobre 2012, de 2'072 fr. 35 du 1er novembre au 31 décembre 2012 et de 2'331 fr. 30 du 1er janvier 2013 au 31 juillet 2013, sous déduction des 3'000 fr. dont le versement avait été ordonné par ordonnance de mesures superprovisionnelles du 16 août 2012, dans l'hypothèse où ce montant aurait effectivement été acquitté par A._, et a confirmé l'ordonnance pour le surplus (ch. III). C. Par acte du 27 mai 2013, A._ exerce un recours en matière civile au Tribunal fédéral contre cette décision. Il conclut principalement à la réforme de l'arrêt entrepris en ce sens que les chiffres II et III de l'ordonnance de mesures protectrices de l'union conjugale du 14 janvier 2013 concernant la restitution à son épouse d'un ordinateur portable et de divers autres objets soient supprimés et qu'il soit dit qu'il n'est pas tenu de contribuer à l'entretien de cette dernière par un quelconque montant. A l'appui de ses conclusions, le recourant se plaint de la violation de l'interdiction de l'arbitraire en particulier dans l'établissement des faits, de l'art. 8 al. 1 CC, du principe de la bonne foi et de son droit d'être entendu. Il sollicite en outre d'être mis au bénéfice de l'assistance judiciaire. Invitées à se déterminer, la Cour d'appel s'est référée aux considérants de son arrêt et Dame A._ a conclu au rejet du recours. D. Par ordonnance présidentielle du 10 juin 2013, la requête d'effet suspensif formée par le recourant a été admise pour les aliments dus du 1er août 2012 au 30 avril 2013 et rejetée pour les sommes dues postérieurement à cette date.