Tower Hamlets har nied 398 rösters majoritet besegrat ministern Ritchie.