Ваш муж прав. Здесь не то, что вы не дали торт, а то, что надо сестру подождать. Это не совсем нормально, когда один член семьи учится, а другие без него отмечают семейный праздник.  не дать вообще - один вариант, а попросить подождать сестру - это второй и правильный вариант.