А что они делали у вас на дне рождения, если вам неприятны? Скажите мужу открыто о том, что эти люди вас раздражают и попросите свести общение к необходимому минимуму. И девочке этой скажите прямо: "Спасибо, милая, что ты так за меня переживаешь. Но ты ведь свои страхи на меня переносишь, это тебя беспокоит что тебя бросят, а у меня этого комплекса нет, так что занимайся своей жизнью и своими проблемами".