Летам 1881 года імператар Аўстра-Венгрыі Франц-Іосіф вырашыў пабудаваць Вілу Гермес, якая першапачаткова мела назву «Віла Вальдру» (ням.: Villa Waldruh). Існавала версія, што імператар спадзяваўся заахвоціць сваю жонку Лізавету, якая шмат падарожнічала, застацца ў Вене. Віла была спраектаваная архітэктарам Карлам Фрайерам фон Хасэнауэрам — яе будаўніцтва працягвалася з 1882 па 1886 год.