да не измен надо бояться, а то что не хочет это время с вами проводить. Договариваться во сколько приходить - это хорошо проделывать с повзрослевшим сыном. А от своего мужа все же ожидаешь что он захочет вечера с женой проводить. С другой сторны, если это редко - то почему бы и нет? У вас тоже должна быть возможность уходить так гулять после работы. Договоритесь с ним в какие дни вы гуляете, и в какие он.