El cementerio se estableció en 1748 para proporcionar cementerios a los veteranos heridos en la Guerra de Sucesión de Austria, que habitaban un albergue cercano ("Invalidenhaus") construido por orden del rey Federico II el Grande. Un decreto real de 1824 declaró que el "Invalidenfriedhof" debería convertirse en el cementerio de todo el personal militar prusiano distinguido, incluido del conde de Bogislav Tauentzien von Wittenberg. Una de las tumbas más notables de este período es la de Gerhard von Scharnhorst (un héroe de las guerras napoleónicas), diseñada por Karl Friedrich Schinkel. El cementerio fue también el lugar de descanso de los soldados muertos durante las revoluciones de 1848 en los estados alemanes. En 1872, se habían realizado aproximadamente 18.000 funerales en el cementerio.