Før Christian 4.s tid lå landsbyen her. Ved et makeskifte i 1560 kom Ilskjøb og Hillerødsholm i Frederik 2.s eie, og kanskje var det da Frederiksborg slott ble oppført at landsbyen ble omdøpt til Hillerød. En skole som ble stiftet av Frederik 2. i 1568, ble i 1585 flyttet til Sorø kloster, «».