Мужчина - просто сожитель матери. Для сожителя абсолютно нормальное отношение. Вы сами как к соседям относитесь? Ребенок тоже со временем начнет понимать его роль  в семье и формировать свое отношение как к случайному попутчику. Такой "папа" даже забрать из школы ребенка без официально оформленного заявления не может, какие могут быть отношения?