Sommers gård ble bygget som en kvadratisk bygning med en 28,7 meter lang hovedfløy mot Kongens gate og en omtrent like lang sidefløy på 24 meter mot Torgets østre side. Til forskjell fra Hornemansgården på motsatt side av Kongens gate fikk Sommergården en høyere kjelleretasje og dermed høyere takhøyde. Taket ble opprinnelig konstruert som et seteritak med midtark med buet avslutning.