Так ваш муж предложил, вы рассмотрели его предложение, отказали.Без вас он все равно ничего не сделает, будет придумывать другие варианты. Если ему так хочется, то развестись, снять/купить жилье, там жить с мальчиком. Если ему дадут, конечно.