Det icke-bindande förslaget godkändes vid ett möte i konventionen om internationell handel med utrotningshotade arter (Cites) i Sydafrika.
Naturvårdare hyllade den som ett viktigt steg mot att få ett slut på den nuvarande tjuvjaktkrisen på elefanter.
Men Japan, som har en stor inhemsk elfenbenshandel, sade att förslaget inte gällde där.
Den internationella marknaden för elfenben har varit stängd sedan 1989, men de lagliga inhemska marknaderna har fortsatt i många länder runt om i världen.
Det har funnits en växande oro för att handel inom landet har uppmuntrat till tjuvjakt på elefanter.
En ökning av dödandet under de senaste sju åren har sett befolkningen i Afrika krympa med en tredjedel, enligt den nyligen publicerade Stora Elephantensus. Det som driver slakten är värdet av elfenben, som kan säljas för omkring 1.100 kronor (850 pund) per kilo i Kina.
Länder som USA och Kina har meddelat att de planerar att stänga sina marknader. Förenade kungariket gjorde nyligen samma sak och förbjöd all handel med elfenben från 1947 fram till idag.
Handeln med material från före 1947 kommer att fortsätta.
Samtidigt som de länder som deltar i denna konferens är splittrade i fråga om det bästa sättet att skydda elefanter, nåddes en kompromiss i frågan om att stänga de inhemska marknaderna efter några hetsiga diskussioner i en arbetsgrupp. Åtgärden antogs dock enhälligt.
Den överenskomna texten är inte rättsligt bindande och Cites kan inte tvinga länder att följa, men naturvårdare anser att det är ett starkt steg eftersom det är första gången som de 183 länder som har undertecknat konventionen har intagit en enad ståndpunkt i denna fråga.
"Det är ett viktigt steg på vägen mot att stänga världsomspännande elfenbensmarknader. Det är första gången som Cites har gått med på att ingripa så direkt i inhemskt elfenben, säger Robert Hepworth, en före detta ordförande för Cites ständiga kommitté.
Eftersom det är en kompromiss kommer den nya resolutionen med ett stort motstånd. Det uppmuntrar länder att stänga sina marknader där dessa marknader "bidrar till tjuvjakt eller olaglig handel".
Vissa länder, inklusive Japan, kommer sannolikt att hävda att deras marknader inte bidrar till tjuvjakt så att de inte behöver stänga dem.
När man talade med den japanska pressen uttryckte landets miljöminister åsikten att resolutionen inte skulle gälla Japan eftersom det inte fanns något tjuvskytt elfenben på deras marknad. Kampanjdeltagarna är oense om detta.
"Det finns bevis som har visat att Japans marknad har olagligt elfenben, falska dokument används och det finns elfenben från olagligt eller okänt ursprung som cirkulerar på marknaden", säger Iris Ho, från Humane Society International.
"Det är en stor besvikelse för den japanska regeringen att förneka förekomsten av olagligt elfenben på deras marknader - Alla lagliga marknader fungerar som en mycket bekväm täckmantel för olaglig elfenben tvättas."
Det som förvånade många av de deltagare som utarbetade resolutionen var Kinas ståndpunkt, en av de största marknaderna för olagligt elfenben.
Enligt de berörda var kineserna ute efter en ännu starkare text om stängning av marknaden.
"Kina ville ha ett mycket tydligt budskap om att alla inhemska, lagliga marknader bör stängas", säger Patrick Omondi som är en del av Kenyas delegation på Cites.
"Det faktum att de har insett att det finns ett problem med deras hemmamarknad och arbetar för att stänga den marknaden, är en mycket bra signal för bevarandet av den afrikanska elefanten."
Den enighet som visas vid stängningen av marknaderna kan mycket väl vara kortvarig. Måndagen kommer att få se olika förslag om elefanternas framtid. Namibia och Zimbabwe försöker få elefanter i sina länder nedgraderade, vilket banar väg för laglig export av elfenben.
En koalition av andra afrikanska länder föreslår raka motsatsen. De vill uppgradera alla afrikanska elefanter till den mest skyddade statusen och ta bort alla möjligheter till handel.
Det är mycket troligt att det kommer att bli en hetsig debatt, och det finns en känsla bland observatörerna av att inget av förslagen kommer att kräva den två tredjedelars majoritet som krävs för att ändra konventet.
Följ Matt på Twitter @mattmcgrathBBC och på Facebook.
Delegater vid FN:s konferens om vilda djur och växter har gett sitt stöd till uppmaningar om stängning av alla inhemska elfenbensmarknader.