La idea original de "El jardín de las palabras" surgió del deseo de Shinkai de capturar la belleza del paisaje cotidiano del Tokio moderno y exhibirlo en una película. Luego de vivir durante diez años en Shinjuku, lo seleccionó como la ubicación del filme y comenzó a tomar miles de fotos, sobre las cuales creó sus guiones gráficos. Quiso compartir la paz y la armonía de sus lugares favoritos en Japón con la esperanza de alentar a las personas a visitarlo. Shinkai modeló el jardín en la cinta para que coincidiera con el Jardín Nacional Shinjuku Gyoen. Tras el terremoto de marzo de 2011, le preocupaba que pudiera ser destruido y quería preservarlo en un filme animado.