Брать обоих обязательно, иначе будут обиды на всю жизнь. Здесь вообще грань тонкая, между своим и "чужим", т.е. мужа. Не хотите быть "злой мачехой" в глазах ребенка и его отца, поезжайте все вместе. А наказание замените занятиями по какому-либо предмету в отпуске.