些残破的城守拆替而来，如西之丸的三重橹台建材来自浅井长政的小谷城，天平橹台建材来自丰臣秀吉的长滨城，太鼓门建材来自石田三成的佐和山城，天守阁建材则来自大津城的天守。1605年，城堡本体大至具有规模后，直胜才率领家属与家臣进驻。1614年，井伊直胜的弟弟井伊直孝由于兄长病弱，正式成为彦根城的第二代藩主。在1616年直孝开始进行外廓扩张的工程，并将城廓改造的更为坚固，且增建了御殿。彦根城约在1622年正式完工，一共花了近20年的建造时间。在1633年，直孝受封35万石，是德川家康下谱代大名中受封最高的将领。