陣屋は、現在の吉井郷土資料館の北方(高崎市吉井町吉井字旧陣)に築かれていた。