Pero en 1183, Balduino estaba descontento con las acciones de Guido como regente, y terminó por destituirlo, por lo que éste se retiró a Ascalón con su mujer, la princesa Sibila.