А он знает, что ты в это время дома? ИМХ это одно из обязательных условий для спокойного посещения детьми сада - знать, что мама не дома в это время. Говори ему, что ты на работе, деньги зарабатываешь. Чтобы он знал, что это важное что-то, а не просто, что ты дома сидишь, а он в это время в другом месте где-то.