Ну ладно, в квартиру его не пустить вы права не имеете, это понятно. Но одну комнату запереть вы можете? Из трех хотя бы одна - это ваша личная собственность. Пускай в детской шарится по шкафам, черт с ним. А в вашей личной комнате ему делать нечего. И я, конечно, не знаю, как с этим в России,  но у нас время посещений строго оговаривается в суде. Бывший муж не имеет права приходить, когда ему вздумается, даже если бывшая жена и дети живут в его собственности.  Я бы на вашем месте узнала у адвоката, как можно зафиксировать часы посещений.