Да, этот вопрос только суд решается. Даже если все на всё согласны. Лишение прав -- серьёзный вопрос. Так что подавать в суд нужно. Но если ответчик попросит суд (письменно) рассмотреть дело в его отсутствие и заранее с иском согласится, всё решится без него.