Brisson har förklarat sig afstå från att bilda kabinett.