Wolf Dietrich z Embsu (1507–1538), vojevůdce španělského vojska císaře Karla V. se oženil s Klárou Medicejskou. Její bratr Giovanni Angelo byl roku 1559 zvolen papežem a přijal jméno Pius IV. Wolfův syn Jakub Hanibal I. z Hohenemsu (1530-1587) nastoupil rovněž jako žoldnéř do habsburské armády a za jeho zásluhy ho 27. dubna 1560 král Ferdinand I. Habsburský povýšil do stavu říšských hrabat a Ems byl povýšen na svobodné říšské hrabství Hohenems. Roku 1565 se oženil s Hortensií Boromejskou z Arony, sestrou sv. Karla Boromejského, který roku 1570 přijel do Hohenemsu na návštěvu. Jakub Hanibal I. velel papežskému vojsku, mj. při vítězství v bitvě u Lepanta, roku 1573 bojoval proti povstání v Nizozemí. Na hrad si pozval nizozemského dvorního malíře Anthoni Bayse (1543–1615), který vytvořil skupinový portrét jeho zahradní slavnosti, se 43 účastníky je největším skupinovým portrétem renesanční doby. Bays vytvořil ještě dva rodinné portréty a na další si Hanibal pozval jiné mistry. Všech 10 olejomaleb bylo roku 1713 převezeno na nově zakoupený zámek v Bystrém u Poličky a odtud až do současnosti vystavené v muzeu v Poličce.