Аргумент тут один только - для 4-хлетки это слишком долго, слишком большой стресс, и вы недостаточно хорошо знакомы, он не считает тебя "своим", и для него это все равно, что к чужим людям, в чужую семью, жить. Про все остальные Ваши мысли и сомнения ему лучше не знать.