Автор, ничего само не наладится. Воспитание - это тяжёлый труд, а не попустительство и хаотичные дерганья.  Ваш муж на уровне подсознания осознает,,что что-то не так,  вот и бесится.  А исправить ситуацию не может, потому что сам не большого ума и на патриарха не тянет.