Ну почему нет? Договаривайтесь с мужем. Но будьте готовы,  что не все будет по вашему сценарию. Вы видите себя воскресной мамой, пришли когда этого хотите Вы, поиграли, сделали "козу"  и ушли. Без быта. Может все так и сложится. А может и другой вариант, вы пришли, а детям неинтересна  ваша " коза". Или через какое время появится мачеха, которая вас заменит и вы будете не актуальны со своей ""козой" в то время, которое удобно вам".  Если вас это не пугает то можете попробовать. Вы же не думаете, что муж будет жить как придумали вы. У него может быть и свое видение