Hotellet anses vara ett modernistiskt mästerverk och en perfekt representation av 1960-talets japanska stil.
Ett par glastorn designade av Yoshio Taniguchi, son till Okuras ursprungliga arkitekt, kommer att ersätta den.
Hotellet byggdes 1962 och har gynnats av världsledare, kändisar och var till och med James Bonds favoritbostad i You Only Live Twice.
USA:s president Barack Obama anslöt sig till ett upprop från andra amerikanska ledare när han stannade där 2009.
En avskedskonsert hölls i hotellets lobby på måndag. Huvudbyggnaden kommer att rivas nästa månad, men en bilaga kommer att förbli öppen.
Hotellets ledning säger att ombyggnaden är nödvändig för att hotellet ska behålla sitt femstjärniga betyg.
"Det är svårt för oss nu att tillhandahålla ett topp japanskt hotell på grund av byggnadens ålder," en Okura taleskvinna berättade AFP nyhetsbyrån.
Det nya hotellet kommer att ha 510 rum inrymda i torn som når 41 våningar. Den ska öppnas 2019.
Beslutet att riva hotellet har dock varit kontroversiellt, med en kampanj för sociala medier och framställningar lanseras för att rädda det.
Den brittiska designtidningen Monocle beskrev stängningen som "en hjärtskärande och irreparabel förlust".
Akademiker har också sagt att Okuras design är unik och oersättlig.
"Det är en förstörelse av kulturen. Denna byggnad är en och enda, som verkligen integrerar japansk estetik med ett hotell i västerländsk stil," Tadashi Yamane en professor i urban design vid Tokyo City University berättade AFP.
Tokyos ikoniska hotell Okura har stängt inför sin rivning och ombyggnad inför OS 2020.