Det innebar att Bayrous centristiska parti, MoDem, kapitulerade alla sina tre kabinettsposter inom 24 timmar.
President Macron kom till makten med ett löfte om att bekämpa politisk slant.
MoDem, som är lierad med Macrons La République en Marche (LREM), står inför en undersökning av påståenden om att företaget använde EU-medel för att betala partiarbetare.
Försvarsminister och f.d. MEP Sylvie Goulard var den första MoDem-ministern som lämnade in sin avgång på tisdagen.
Efter att Paul Bayrou sade att han avstod tidigt på onsdagen stod det klart att Marielle de Sarnez, minister för EU-frågor, också lämnade regeringen för att ta över som chef för MoDem i nationalförsamlingen.
Avgångarna var inte begränsade till Bayrous parti. Mr Macrons nära allierade Richard Ferrand avgick på måndagen, bland orelaterade anklagelser han hade använt insiderinformation för att säkra en lukrativ egendom affär för sin fru medan han var chef för en ömsesidig sjukförsäkring fond.
Herr Ferrand och fru Goulard har båda förnekat alla förseelser.
Men anklagelserna har kastat en skugga över den nya regeringen. Det var François Bayrou som beskrev detaljerna i ett lagförslag för att rensa upp i politiken.
Tre av de siffror som infördes för att ersätta de fyra som avgick var kvinnor från det civila samhället snarare än politik:
Förhållandet mellan den frispråkiga Francois Bayrou och Macrons regering har varit spänt i veckor.
De franska tidningarna var fulla av anonyma källor från presidentens parti som fördömde Bayrou som ett "överdimensionerat ego" som "stoppar [dem] från att styra". "Vi kan inte fortsätta framåt", sa en, "när vi alltid går tillbaka var femte minut för att kontrollera om Bayrou har ställt till det igen."
Bayrous avgång visar hur svårt det kan vara att förhindra skandaler, även i dem som har ett välkänt politiskt förflutet.  Med så många nya ansikten in i parlamentet denna månad efter en snabb urvalsprocess finns det en risk att dessa problem kan öka.
Presidentpartiet har en tydlig majoritet i parlamentet, även utan stöd från MoDem.  Men efter att ha lovat att överbrygga vänster-höger-klyftan i fransk politik, kan Mr Macron i stället stå inför en växande klyfta med sina centristiska allierade.
Lagförslaget för att rensa upp politik inkluderade stoppa politiker anställa medlemmar av sin egen familj, ett förbud på upp till 10 år för parlamentsledamöter och senatorer dömda för korruption eller bedrägeri, och reform av partifinansiering.
Macron kommer utan tvivel att hoppas att det dämpar oron över hans nya administration, som står inför ett av sina första hinder på torsdag när den lägger fram kontroversiell ny lagstiftning mot terrorism.
Dokument som läcktes ut till den franska tidningen Le Monde har redan väckt farhågor bland medborgarrättskämpar och kan göra Frankrikes nödåtgärder, vilket ger myndigheterna extra befogenheter, inklusive möjligheten att utföra sökningar när som helst, permanenta.
Inrikesminister Gérard Collomb berättade för den franska tidningen Le Figaro [på franska] att lagstiftningen skulle omfatta fyra flaggskeppsmetoder: att skapa skyddsområden kring potentiella mål, att stänga platser för tillbedjan som uppviglar till terrorism, att ersätta husarrest med personliga åtgärder och att placera en domare i det övergripande ansvaret för sökningar och de dokument som blir resultatet.
Frankrikes justitieminister François Bayrou avgick på onsdag timmar innan president Emmanuel Macron meddelade sin nya regering line-up.