В одной квартире точно не жить. Ребёнок ещё маленький чтобы оставаться на папино попечение, ему мама нужна. Разводитесь и ищите жильё, пусть в другом районе и школу придётся поменять, но имхо так вам будет лучше и ребёнку тоже.