У меня половина замужних подруг так говорят уже почти 8 лет - моему сыну столько. И говорят в лицо ))) Я смеюсь, понимая их реакцию. Не вижу ничего обидного, ибо дети и правда "радость" тяжелая. Но она может сейчас воспринять Ваши слова как бы не по поводу проблем, а что ребенок тяжелый или что-то такое. Так что, имхо, еще раз просто извинитесь и объясните ситуацию.