O parque fica a menos de um quilômetro da Praça da Sé, em um pedaço da antiga Várzea do Carmo que costumava ser inundado pelo rio Tamanduateí. Foi na Várzea do Carmo que se deu o primeiro jogo de futebol reconhecido em território brasileiro, embora não se saiba o local exato. Segundo o jornal "O Estado de S. Paulo", "reza a lenda" que o prédio do 2.º Batalhão de Guardas, localizado no parque, teria sido, originalmente, um presente do imperador dom Pedro I à Marquesa de Santos, servindo como local para os encontros entre os dois. Mais tarde o local abrigaria a sede de uma das chácaras da Várzea do Carmo, o Seminário das Educandas e o Hospício dos Alienados, a partir de 1930 a Força Pública e depois do Golpe Militar de 1964 foi tomado pelo Exército. A região virou um depósito de lixo por cerca de cinco anos na década de 1870, sendo recuperada por questões sanitárias. Parte da Várzea do Carmo foi aterrada na metade do século XIX, quando da retificação do curso do rio, e foram criados jardins e praças.