Нет. Если все договоренности только устные, расторгнуть договор по ст. 81 ТК РФ нельзя. Чтобы это было возможно, работник должен быть оформлен как удаленщик или работающий на условиях неполного рабочего дня.