На работе знают, что он пьет и бьет жену? Я бы испортила ему там реноме. Что касается по закону/не по закону, то такие мужики обычно трусливы: избивать женщину и "прдупреждать" о расправе - лишнее доказательство его собственной слабости. А вот, как раз, затаскать Вас по судам за детей (единственное, чем он может Вам навредить). Если он не сам об этом догадается, его дружки могут надоумить. Причем, сами дети ему совершенно не нужны, все это будет сделано именно, чтобы насолить Вам. Так что, будьте о всеоружии. Если в полиции и в опеке будет зафиксирована его агрессивность дома, его могут отстранить и от детей и вообще могут запретить приближаться к дому на  пушечный выстрел.