府衙最初设在元朝的淮安路，不久被淮安卫指挥使、淮安侯华云龙抢占。洪武三年（1370），新任淮安知府姚斌选中了上坂街北边的五通庙和元沂、郯万户府，改建为淮安府的新府衙，一直沿用到清末。
建筑规模.淮安府衙与其南面的总督漕运公署、镇淮楼（谯楼）、山阳县衙首尾相连，成为中国国内最大的古代官衙景区，且雄居古城中轴线，总长度约一公里左右。府衙原规模宏大，占地近2万平方米。衙内有房屋50余幢、600余间，分东、中、西三路。中路有大门、二门、六科书吏房、大堂、二堂、六科用房、内宅上房、镇淮楼和偷