Bygningen ble oppført i 1860 på oppdrag fra stadskaptein og maler G.L. Olsen og tegnet av arkitekt Emil Victor Langlet, som også tegnet Stortingsbygningen i en lignende stil; Stortingsbygningen ligger bare drøyt hundre meter unna og kunne opprinnelig ses fra pikeskolen; idag må man gå ca. 40 meter ned i gaten for å kunne se bort til Stortinget. Nissens Pigeskole var opprinnelig den største og dominerende bygningen i sine nærmeste omgivelser, men omgis nå av større bygninger og virker relativt mindre. Bygningen har hovedfasade i gul upusset tegl, preget av middelalderske forbilder, og har et sengotisk stiluttrykk. Fjerde etasje har rundbuede vinduer flankert av skulpturnisjer.