大日本報徳社蔵の『駿州府中御城之図』より、淀城の天守と同じく天守台に余裕を持たせて天守をほぼ中央に建て、4隅に二重櫓を建てて多聞櫓を建て廻したという説が最も有力とされている。