Не давайте детей, поскольку он сознательно подвергает их опасности. Или отвозите и забирайте сами. Вы вправе не отдавать детей мужу по этой причине, можете предложить ему обратиться в суд с заявлением об установлении порядка общения. Или сами подайте в суд на ограничение его в правах или установлении правил, при которых возможно общение. Хорошо бы сделать так, чтобы до суда вашего мужа официально отштрафовали.