Od 90. let 20. století se zapojil do izraelské politiky. Roku 1995 založil stranu Jisra'el ba-alija, která zastupovala zájmy Židů původem ze zemí bývalého SSSR v Izraeli. Ta roku 1996 získala sedm křesel v Knesetu a Šaransky se stal ministrem průmyslu, obchodu a práce. V této funkci setrval do roku 1999. V letech 1999-2000 byl ministrem vnitra. V červenci 2000 rezignoval na svou funkci. Od března 2001 do února 2003 zastával post ministra bydlení a výstavby a zároveň vicepremiéra izraelské vlády. V následujícím období byl ministrem bez portfeje. 2. května 2005 rezignoval na vládní funkce pro svůj nesouhlas s plánem jednostranného stažení podporovaným tehdejším premiérem Arielem Šaronem.