La seva creació va ser aprovada l'any 1919, a causa del creixement continuat de la població i l'escassesa d'espai en els cementiris fins aleshores existents, situats dintre dels límits de Tòquio (Aoyama, Yanaka, Somei, Zōshigaya i Kameido). Es van cercar llocs als afores i el 1920 s'escollí l'antiga vila de Tama, sembla que perquè era un lloc verge i tenia facilitats per connectar-se amb el transport públic existent. Per al projecte, el cap de la secció de parcs de la ciutat, Kiyoshi Inoshita, es va inspirar en els grans cementiris occidentals, particularment en els de tipus boscós d'Alemanya. Dos anys més tard va començar la construcció i l'obertura es va fer l'1 d'abril de 1923, poc abans del gran terratrèmol de Kanto. Va comptar primer amb 1 milió de metres quadrats en el moment de la seva obertura, que van ser ampliats a la banda est el 1939, assolint la seva àrea actual.