泷川一益，再由北条家统治，最后由德川家夺取。之后小田原征伐功劳而得5万石的大名仙石秀久在天正18年（1590年）时入城。秀久在关原之战参与东军、之后的元和8年（1622年）2代的忠政转封上田城为居城。江戸时代小诸藩的藩厅设立，之后由松平氏、青山氏、酒井氏等封于此、元禄15年（1702年）在牧野康重之后不再移封，牧野氏10代康济时迎来了明治时代。2006年（平成18年）4月6日、日本100名城（28名）被选定。