Добиться вам получится только в лишении его родительских прав,это сделать непросто так же как и ограничить, и этот путь не настолько быстрый.Почитайте СК РФ в каких случаях это возможно сделать и поймете через что вам придется пройти,если конечно он не платит алименты.И наличие или отсутсвие у вас официального мужа никак не повлияет.