Выходите,  потому что  надо. Что  тут стыдного? Такие обстоятельства. Что Вам до каких-то разговоров? Да и... люди не настолько озабочены чужой жизнью,  как Вам кажется. На самом деле всем глубоко  пофиг, и на Вас,  и на  Вашего  мужа,  и на ребенка тож.