Faits:
A. Par deux ordonnances du 4 mai 2010, le Juge d'instruction de l'arrondissement de l'Est vaudois, au terme d'une enquête instruite, sur plaintes de X._ et de Y._, contre A._ et B._, a prononcé un non-lieu en faveur de ces derniers.
Saisie de recours des plaignants, le Tribunal d'accusation du Tribunal cantonal vaudois les a rejetés par deux arrêts du 7 juin 2010.
B. Ces arrêts retiennent, en résumé, ce qui suit.
B.a Le 3 août 2009, les époux X._ et Y._ ont chacun déposé plainte pénale contre A._ et B._. Ils expliquaient que, le 27 juillet précédent, ils avaient eu rendez-vous avec le propriétaire de leur appartement, B._, pour effectuer l'état des lieux et signer des documents. A cette occasion, A._, qui accompagnait B._, était entré dans l'appartement, sans y avoir été autorisé. Y._ était intervenue et avait été insultée par A._, qui lui avait saisi le bras et l'avait poussée contre le mur, avant de sortir de l'appartement. B._ les avait alors menacés, en leur disant qu'il valait mieux ne pas déposer plainte car ils ne savaient pas à qui ils avaient à faire.
B.b Le 25 février 2010, X._ et Y._ ont déclaré qu'ils retireraient leurs plaintes contre A._ et B._, si ces derniers prenaient l'engagement de ne plus les importuner et si A._ présentait ses excuses. Les prévenus ont satisfait à ces conditions.
B.c Considérant que les faits dénoncés étaient constitutifs d'infractions poursuivies sur plainte et que celles qui avaient été déposées avaient été retirées, le magistrat instructeur en a déduit qu'il y avait lieu de mettre fin à l'action pénale.
B.d Se fondant sur l'<ref-law>, le Tribunal d'accusation a estimé que, pour les infractions se poursuivant sur plainte, à savoir celles de voies de fait, d'injure, de menaces et de violation de domicile, le prononcé d'un non-lieu était justifié, le retrait des plaintes ayant entraîné l'extinction de l'action pénale. Autant que les plaignants soutenaient dans leurs recours que le comportement des prévenus était aussi constitutif d'agression au sens de l'<ref-law>, le prononcé d'un non-lieu se justifiait également. En effet, cette infraction impliquait la mort ou une lésion corporelle. Or, les douleurs et marques au bras gauche présentées par Y._, selon le constat médical du 28 juillet 2009 qu'elle avait produit, devaient être qualifiées de voies de fait.
C. X._ et Y._ forment chacun un recours en matière pénale au Tribunal fédéral. Articulant divers griefs et produisant une série de pièces, ils concluent implicitement à l'annulation des arrêts attaqués et à ce qu'il soit statué à nouveau, après reprise et complément d'instruction.
Des déterminations n'ont pas été recueillies.

Considérant en droit:
1. Les recours, dont le contenu est identique et dont chacun est signé par les deux recourants, sont dirigés contre deux arrêts, qui portent sur un même état de fait et dont la motivation est similaire. Il se justifie donc de joindre les causes et de les traiter dans un seul arrêt (cf. <ref-law>, applicable en vertu du renvoi de l'<ref-law>).
2. Il convient de rappeler préliminairement que le Tribunal fédéral n'est pas une juridiction d'appel, qui pourrait réexaminer librement la cause, en procédant à une nouvelle appréciation des preuves. Les recours qui lui sont adressés doivent satisfaire aux conditions fixées par le droit de procédure applicable, notamment par la loi sur le Tribunal fédéral (LTF; RS 173.110). A ce défaut, ils sont irrecevables, ce qui signifie que le Tribunal ne peut entrer en matière sur les griefs soulevés, c'est-à-dire les examiner au fond.
Lorsque, comme en l'espèce, le recours est dirigé contre une décision de non-lieu, celui qui se prétend lésé par les infractions qu'il a dénoncées ne peut l'attaquer inconditionnellement. Il est habilité à former un recours en matière pénale s'il revêt la qualité de victime, au sens de l'art. 81 al. 1 let. b ch. 5 LTF, qui correspond à cet égard à l'art. 1 al. 1 de la loi fédérale sur l'aide aux victimes d'infractions (LAVI; RS 312.5), par rapport à l'infraction litigieuse, c'est-à-dire s'il a subi, du fait de cette infraction, une atteinte directe à son intégrité physique, psychique ou sexuelle, ou s'il entre dans le cercle des personnes que l'<ref-law> assimile à la victime pour ce qui est de ses droits dans la procédure, ce qui est notamment le cas du conjoint de celle-ci; encore faut-il, le cas échéant, que la décision attaquée puisse avoir des effets sur le jugement de ses prétentions civiles. Il est également habilité à recourir en tant que plaignant, soit lorsque l'infraction litigieuse se poursuit sur plainte, mais seulement si la contestation porte sur le droit de porter plainte (cf. art. 81 al. 1 let. b ch. 6 LTF). Hormis ces cas, le lésé, alors désigné comme "simple lésé", ne peut recourir que pour invoquer la violation, équivalant à un déni de justice formel, des droits de partie à la procédure qui lui sont reconnus par le droit cantonal ou le droit constitutionnel. Cela exclut notamment qu'il se plaigne d'une fausse application de la loi pénale ou de la manière dont les faits ont été établis ou qu'il soulève tout autre grief qui revienne à remettre en cause, même indirectement, la décision attaquée sur le fond (cf. <ref-ruling> consid. 2 p. 229 ss).
Le Tribunal fédéral est un juge du droit. Il statue sur la base des faits retenus par l'autorité précédente (<ref-law>), dont il ne peut s'écarter que s'ils ont été établis de façon manifestement inexacte, c'est-à-dire arbitraire, ou en violation du droit au sens de l'<ref-law> (cf. art. 105 al. 2 et 97 al. 1 LTF). De jurisprudence constante, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable ou, autrement dit, absolument inadmissible, et cela non seulement dans sa motivation mais dans son résultat (cf. <ref-ruling> consid. 1.3 p. 4/5; <ref-ruling> consid. 5.4 p. 148 et les arrêts cités).
Le recours doit être suffisamment motivé. Il doit indiquer en quoi la décision attaquée viole le droit (cf. <ref-law>). Les griefs de violation des droits fondamentaux sont soumis à des exigences de motivation accrues (cf. <ref-law>; <ref-ruling> consid. 1.4 p. 287). Cela vaut en particulier pour le grief d'arbitraire dans l'établissement des faits, qui revient à invoquer une violation de l'art. 9 Cst. S'il entend soulever un tel grief, le recourant ne peut se borner à critiquer simplement les faits retenus, en opposant sa propre appréciation des preuves à celle de l'autorité cantonale. Sous peine d'irrecevabilité, il doit, sur chacun des points contestés, démontrer, pièces à l'appui, que la décision attaquée est arbitraire, au sens défini par la jurisprudence.
Enfin, à moins de résulter de la décision attaquée, aucun fait nouveau ni preuve nouvelle, c'est-à-dire non soumis à l'autorité précédente, ne peut être présenté devant le Tribunal fédéral (<ref-law>).
3. La motivation des recourants s'apparente à une plaidoirie écrite, comportant un mélange de critiques, qu'il n'est pas aisé de distinguer et dont il est parfois difficile de saisir au juste la portée. Les griefs qu'ils paraissent soulever seront donc traités dans la mesure où ils peuvent être discernés et compris.
4. Les recourants semblent d'abord se plaindre de ce que l'infraction d'agression n'ait pas été retenue.
4.1 La recourante, en tant qu'elle prétend avoir subi des lésions corporelles à raison de l'infraction invoquée, et le recourant, en sa qualité de conjoint, revêtent, respectivement, la qualité de victime et de proche de la victime, au sens des art. 81 al. 1 let. b ch. 5 LTF et 1 al. 1 et 2 LAVI. Ils ne peuvent se voir reprocher de n'avoir pas pris de conclusions civiles, puisque la procédure n'a pas été menée jusqu'à un stade qui aurait permis de le faire. Certes, ils n'indiquent pas, comme il leur incombait en pareil cas, quelles prétentions civiles ils entendraient faire valoir et en quoi la décision attaquée pourrait avoir une incidence négative sur le jugement de celles-ci. La jurisprudence renonce toutefois à cette exigence, lorsque, compte tenu notamment de la nature de l'infraction dénoncée, on peut discerner d'emblée et sans ambiguïté quelles prétentions civiles pourraient être élevées et en quoi la décision attaquée est susceptible de les influencer négativement (<ref-ruling> consid. 1a p. 187 et les arrêts cités). Or, il est évident que le non-lieu prononcé par l'autorité cantonale en ce qui concerne l'infraction d'agression est de nature à influencer négativement le jugement des prétentions civiles, notamment en réparation du tort moral, qu'ils pourraient faire valoir contre les personnes mises en cause. Les recourants sont dès lors habilités à soulever le présent grief.
4.2 L'autorité cantonale a justifié son prononcé sur le point litigieux en considérant que l'une des conditions d'application de l'<ref-law>, à savoir que l'agression ait entraîné, pour la personne agressée ou pour un tiers, la mort ou une lésion corporelle au sens des art. 122 ou 123 CP, n'était pas réalisée. A l'appui, elle a exposé, en se fondant sur le constat médical du 28 juillet 2009 produit par la recourante, que les atteintes à l'intégrité physique invoquées devaient être qualifiées de voies de fait, et non de lésions corporelles. Elle a estimé que le cas s'apparentait à celui où des contusions sont occasionnées par le fait de saisir brutalement une personne par le bras pour la conduire de force dans la rue.
4.3 Comme la jurisprudence a eu l'occasion de le relever, la distinction entre lésions corporelles et voies de fait peut s'avérer délicate, notamment lorsque l'atteinte s'est limitée à des meurtrissures, des écorchures, des griffures ou des contusions. Ainsi, une éraflure au nez avec contusion a été considérée comme une voie de fait; de même une meurtrissure au bras et une douleur à la mâchoire sans contusion. En revanche, un coup de poing au visage donné avec une violence brutale propre à provoquer d'importantes meurtrissures, voire une fracture de la mâchoire, des dents ou de l'os nasal, a été qualifié de lésion corporelle; de même de nombreux coups de poing et de pied provoquant chez l'une des victimes des marques dans la région de l'?il et une meurtrissure de la lèvre inférieure et chez l'autre une meurtrissure de la mâchoire inférieure, une contusion des côtes, des écorchures de l'avant-bras et de la main. Dans les cas limites, il faut tenir compte de l'importance de la douleur provoquée, afin de déterminer s'il s'agit de lésions corporelles simples ou de voies de fait. Comme il s'agit de notions juridiques indéterminées, dont l'interprétation est étroitement liée à l'établissement des faits, le Tribunal fédéral s'impose une certaine retenue et ne s'écarte de l'interprétation faite par l'autorité cantonale que si cela s'avère nécessaire (<ref-ruling> consid. 1.3 p. 191/192; <ref-ruling> consid. 2a et les arrêts cités).
4.4 Du constat médical produit par la recourante, il ressort qu'examinée le soir du 27 juillet 2009, cette dernière a indiqué avoir été saisie par le bras gauche et bousculée contre le mur. Elle a signalé des douleurs dans l'épaule et le bras gauche et a présenté, à l'examen clinique, des marques rouges sur la partie supérieure du bras gauche, avec, à la palpation et à la mobilisation, des douleurs ne limitant pas la mobilité.
Sur le vu de ce constat et de la jurisprudence précitée, les atteintes invoquées par la recourante ont été qualifiées à juste titre de voies de fait, et non de lésions corporelles. La recourante, selon ses propres allégations, n'a pas été frappée, mais bousculée. Elle n'a souffert ni de meurtrissures, ni d'écorchures, ni de griffures. Environ trois heures après les faits, elle ne présentait guère que des rougeurs au membre supérieur gauche, avec quelque douleur n'entravant pas sa mobilité. Subséquemment, c'est sans violation du droit fédéral que l'autorité cantonale a exclu la réalisation de l'infraction d'agression. Partant, le grief doit être écarté.
5. Les recourants allèguent ensuite que, contrairement à ce qui a été retenu, l'un des mis en cause, B._, n'a pas satisfait aux conditions qu'ils avaient posées au retrait de leurs plaintes.
5.1 Ce grief revient à reprocher à l'autorité cantonale d'avoir admis que les plaintes avaient été valablement retirées, donc à invoquer une violation de l'<ref-law>, de sorte que les recourants sont habilités à le soulever sur la base de l'art. 81 al. 1 let. b ch. 6 LTF.
5.2 Des pièces auxquelles s'est référée l'autorité cantonale sur le point litigieux, il résulte que, lors d'une audition du 25 février 2010 par le juge d'instruction de A._, d'une part, et des recourants, d'autre part, ces derniers ont fait connaître leurs "conditions du retrait de plainte", à savoir que les mis en causes prennent tous deux l'engagement de ne plus les importuner et que l'un d'eux, soit A._, leur présente en outre des excuses. Il en ressort également - et cela n'est pas contesté - que A._ a satisfait à ces conditions. S'agissant de B._, dont il était uniquement exigé qu'il s'engage à ne plus importuner les recourants, il a été entendu le 19 mars 2010 à ce sujet par le juge d'instruction et, comme cela ressort du procès-verbal y relatif, a alors souscrit, "par gain de paix", à la condition ainsi posée. C'est donc à tort que les recourants affirment qu'il ne l'a pas fait.
5.3 Le droit fédéral ne soumet le retrait de plainte à aucune prescription de forme. En particulier, ce dernier ne suppose aucune déclaration expresse de volonté. Il faut, mais il suffit, que la volonté de retirer la plainte ait été exprimée de façon non équivoque (<ref-ruling> consid. 1 p. 170/171; <ref-ruling> consid. 3a p. 58; <ref-ruling> consid. 3 p. 149).
En l'espèce, les recourants ont clairement manifesté leur volonté de retirer leurs plaintes à l'encontre de B._ s'il prenait l'engagement de ne plus les importuner, ce qu'il a fait. Au demeurant, ils ne contestent pas avoir valablement retiré leurs plaintes à l'encontre de A._. Or, conformément à l'<ref-law>, le retrait de la plainte à l'égard de l'un des prévenus profite à tous les autres.
5.4 Sur le vu de ce qui précède, le grief doit être écarté.
6. Pour le surplus, les recourants formulent, de manière purement appellatoire, de multiples critiques, mélangées quasi inextricablement. Dans la mesure où, comme ils le font essentiellement, ils contestent simplement le contenu d'un rapport de police et les déclarations faites par les mis en cause lors de leur audition, leur recours est manifestement irrecevable. Outre qu'ils ne sont habilités à s'en prendre aux fais retenus que pour les infractions par rapport auxquelles ils revêtent la qualité de victime, respectivement de proche de la victime, ils ne font aucune démonstration, suffisante au regard des exigences de motivation de l'<ref-law>, d'arbitraire, au sens défini par la jurisprudence, dans l'établissement des faits (cf. consid. 2 ci-dessus), ni, au demeurant, d'autres atteintes à leurs droits constitutionnels.
7. Les recours doivent ainsi être rejetés dans la mesure où ils sont recevables.
Les frais seront mis, solidairement, à la charge des recourants, qui succombent (art. 66 al. 1 et 5 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 6B_624/2010 et 6B_625/2010 sont jointes.
2. Les recours sont rejetés dans la mesure où ils sont recevables.
3. Les frais judiciaires, arrêtés à 2000 fr., sont mis solidairement à la charge des recourants.
4. Le présent arrêt est communiqué aux parties et au Tribunal d'accusation du Tribunal cantonal du canton de Vaud.
Lausanne, le 16 novembre 2010
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Angéloz