Возможен, но только если кроме отсутствия недвижимости, Вы еще имеете некие отрицательные параметры, например, выпиваете, гуляете, не следите за ребенком и т.п. Во всех остальных случаях, основываясь на судебной практике, суд оставит ребенка с Вами.