Během období vlády Žerotínů byly přidány k zámku renesanční prvky, představované především přízemní arkádou. Vláda Žerotínů netrvala dlouho a zámek se na základě pobělohorských konfiskací dostává do majetku rakouského rodu Breunerů a Mansfeldů, od kterých lomnické panství roku 1662 zakoupil moravský zemský hejtman hrabě Gabriel Serényi.