Gaden præges af klassicistisk arkitektur fra tiden efter Københavns brand i 1795. På hjørnet af Krystalgade / Peder Hvitfeldts Stræde blev der i årene 1820-1821 opført en toeages bygning, der skulle tjene "Vor Frue Kirkes Skole". Navn og årstal kan stadig ses på bygningens sandstensportal. I dag ligger der en restaurant her, og bygningen er fredet.