Tomomi Inada, en nära allierad till premiärminister Shinzo Abe, klev ner över en påstådd mörkläggning av dokument om en kontroversiell fredsbevarande insats.
Hon sågs som en Abe protÃ©gÃ©, dela hans orubbliga nationalistiska åsikter.
Hennes avgång kommer som premiärministern ser en kraftig nedgång i offentligt stöd över påstådd cronyism.
Den 58-åriga Inada hade redan i stor utsträckning förväntats ersättas i en omväxling av kabinettet nästa vecka som premiärministern hoppas kommer att hjälpa till att återuppbygga sina betyg.
Raden om Sydsudans fredsbevarande uppdrag bröt ut i december när försvarsministeriet sade att fredsbevararnas loggbok för juli, när säkerhetssituationen där förvärrades, hade förkastats.
Men två månader senare sade tjänstemän att de hade hittat data på en dator, vilket ledde till anklagelser om att loggarna hade undanhållits med flit.
Fredsbevarande uppdrag är kontroversiella i Japan, som har en pacifistisk konstitution. Japanska fredsbevarare utplaceras endast på strikta villkor, bland annat att vapenstillestånd måste gälla.
Alla förändringar i säkerhetssituationen i Sydsudan kunde ha påverkat om uppdraget skulle fortsätta.
Inada utnämndes till försvarsminister 2016. Men hennes månader i positionen har sett en rad gaffes.
Hon blev särskilt beskjuten för att hon i ett tal antydde att militären ville att väljarna skulle stödja det styrande partiet.
Abe bad landet om ursäkt på fredag omedelbart efter Inadas avgång.
Han sade också att utrikesminister Fumio Kishida för närvarande skulle lägga försvarsportföljen till sina uppgifter.
Under sina år vid makten har Abe intagit den kontroversiella ståndpunkten att nationen måste ändra den pacifistiska konstitutionen för att formalisera militärens existens.
Japan är mycket splittrat i frågan och hävdar att försvarsministeriet inte har varit öppet för insyn när det gäller Sydsudan-utplaceringen kommer sannolikt att underblåsa allmänhetens skepsis.
Premiärministern står också inför ett rasande stöd mitt i två skyddsskandaler. Han förnekar ett orätt handlingssätt, men hans godkännandesiffror har sjunkit till under 30 procent enligt de senaste undersökningarna.
Oppositionen har emellertid hittills misslyckats med att utnyttja hans impopularitet. På torsdag avgick oppositionsledaren Renho, som har ett namn, för att ta ansvar för oppositionens svaghet.
Kvinnan som en gång betraktades som på väg att bli Japans första kvinnliga premiärminister har avgått som försvarsminister.