Если вы живёте в квартире, которая является вашей собственностью, вы имеете право никого в неё не пускать. Если он действительно не вполне адекватен давать ему ребёнка 3-х лет опасно, так что это тоже не вариант. Так что остаётся просто прервать контакты и не общаться.Но с точки зрения закона у отца ребёнка те же родительские права, что и у вас, так что если он род.прав не лишён, он может обратиться в опеку и в суд для определения порядка встреч. И если вы его неадекватность ничем кроме своих слов подтвердить не можете, он получит право видеться с ребёнком.