Nu försöker regeringen och företagsgrupperna få arbetarna att ta ett litet steg för att återta sina liv genom att lämna arbetet tidigt en dag i månaden.
Programmet, som kallas "Premium Friday", föreslår att företag får personal att gå hem klockan 15:00 den sista fredagen i månaden, med början i februari.
Det har fått ny kraft genom självmord av en kvinna som arbetade mer än 100 timmar övertid i månaden på Japans största annonsbyrå, Dentsu.
Hennes död ansågs vara ett fall av "karoshi" och har lett till en utredning, ett tillkännagivande byråns verkställande direktör kommer att avgå och djup oro i Japan för landets arbetskultur.
Men med omkring 2 000 dödsfall om året kopplade till överarbete är det få som anser att det frivilliga systemet utgör något mer än ett litet steg mot förändrade attityder och det är oklart hur många företag som kommer att ta upp det.
Det är inte första gången överarbete har betraktats som ett problem eller första gången någon har försökt göra något åt det.
Bland andra initiativ har regeringen tidigare försökt få de anställda att ta mer av den ledighet de har rätt till - Japans arbetsdepartement säger att de bara tar ungefär hälften - utan större framgång.
Antalet allmänna helgdagar i Japan i år ökade till 16 delvis syftar till att tvinga människor att ta pauser.
Regeringen har också försökt uppmuntra flexiblare arbetstider, vilket gör det möjligt för statsanställda att börja och lämna arbetet tidigt på sommaren och till och med släcka lamporna på vissa kontor sent på kvällen, något Dentsu nu också försöker.
Arbetstagarna tar i allt högre grad initiativ till att åka hem i tid också några dagar, och till och med tillkännager det i sociala medier för att uppmuntra andra att göra detsamma.
Men även om detta har bidragit till att ändra tanken på att det nödvändigtvis är bra att arbeta övertid, så har ingen av dem själva gjort mycket av en buckla.
Omkring 22 % av befolkningen arbetar mer än 49 timmar i veckan enligt 2014 års siffror från Japan Institute for Labour Policy and Training, bakom Sydkorea på 35 % men före USA, där 16 % av arbetstagarna lägger in sådana timmar.
För regeringen och företagsgrupperna finns det också en del av egenintresset.
Japans ekonomi har stagnerat i mer än två decennier. Situationen har förvärrats av låg konsumtion och ett mycket lågt födelsetal, som båda förvärras av att arbetstagare tillbringar större delen av sina vakna timmar vid ett skrivbord.
Produktivitet och effektivitet lider också av att företag ständigt har personal till hands, eftersom företag inte investerar i arbetskraftsbesparande teknik.
Toshihiro Nagahama, chefsekonom vid Dai-ichi Life Research Institute, berättade för BBC att privat konsumtion kunde öka med så mycket som 124 miljarder yen ($1bn; £860m) varje Premium fredag om "100%" av de berättigade på väg hem klockan 15.00 på dessa dagar.
Men han betonar att ingen vet hur många människor som kommer att ta upp idén och att det är osannolikt att det totala deltagandet kommer att ske, vilket skulle kunna innebära ett mycket mindre uppsving för ekonomin.
Varför skulle inte företag och arbetstagare delta? Att först göra en sådan förändring kan vara smärtsamt.
Företag står inför högre kostnader och japanska arbetstagare känner sig ofta skyldiga till att lämna sina kollegor bakom sig.
"Japanska arbetare oroar sig för att svika sina kolleger", säger Nagahama. "De har en stark känsla av att arbeta som ett team."
Att få anställda att arbeta mindre är särskilt svårt för Japans många småföretag, som kämpar för att hålla kostnaderna nere. Det faktum att många av dem är familjedrivna gör en tidig walk-out ännu svårare.
Även med Premium Friday påpekar Nagahama att vissa anställda kan ta igen tiden på andra dagar eller till och med utföra andra arbeten på sin nytillkomna fritid, vilket skulle upphäva syftet med systemet.
Det är inte ens klart om regeringen ministeriet bakom idén kommer att delta, även om ekonomi-, handels- och industriminister Hiroshige Seko har enligt uppgift lovat att han inte kommer att ha möten efter 15:00 på dessa fredagar.
Trots tvivel om systemet hoppas förespråkarna att det blygsamma målet om ett tidigt slut en gång i månaden i kombination med stöd från regeringen och industrin kommer att uppmuntra till spridning och så småningom en mer grundläggande förändring av arbetsplatskulturen.
Kampanjen främjar också kommersiella möjligheter för restauranger, butiker, reseföretag och andra företag som kan dra nytta av det, i hopp om att företagen kommer att se fördelarna med ökad fritid för de anställda.
Det kommer naturligtvis att bli svårt att ändra djupt rotade attityder till arbete. Många tidigare försök har misslyckats. Men ironiskt nog kan ansträngningarna få hjälp av japanska arbetares minskande företagslojalitet.
Skär på drift av år av omstrukturering från livstiden anställningsköp som band sina fäder till ett enda företag, yngre japaner kan finna att chansen att gå till izakaya (pub) lite tidigare några fredagar är bara den knuff de behöver för att anta en bättre balans mellan arbete och privatliv.
Rapport från Simeon Paterson.
Döden på grund av överarbete i Japan är ett så långvarigt problem att den till och med har sitt eget ord, "karoshi".