דברים אלו סייעו ליריביו בתוך רשות השידור ומתנגדיו הפוליטיים לפעול להדחתו, ובסוף שנת 2004, החל אהוד אולמרט שהיה השר הממונה על רשות השידור, בהליכי הדחה של יוסף בראל.