Der Berg ist nach dem Prager Ratsherrn Vítek z Hora benannt, der zur Regierungszeit Karls IV auf den Hängen Weinberge besaß. Historische Bedeutung erlangte der Hügel während der Hussitenkriege. In der Schlacht am Veitsberg vom 14. Juli 1420 besiegten die hussitischen Truppen unter dem Heerführer Jan Žižka ihre katholischen Gegner. Bestrebungen, auf dem Berg ein Denkmal für Žižka zu errichten gab es seit den 1870er-Jahren. Das Reiterstandbild und das funktionalistische Denkmal wurden schließlich in den 1930er-Jahren errichtet.