Не обращайте ни на кого внимания. И уж тем более нечего тут стыдиться. Разговоры - это просто болтовня, а ребенка на ноги ставить нужно. Вам решать как и никто не в праве судить. Просто не обсуждайте ни с кем этот вопрос. Можете просто ответить, что вот возникла необходимость выйти на работу по финансовым соображениям и все. Не вступайте в дисскусии и обсуждения. Нервы себе сохраните.