Begynnelsen av 1800-tallet var en periode preget av økonomiske nedgangstider og Conradi fikk merke dette. Konkurranse fra apotekene i Larvik og Holmestrand, samt stor forsørgelsesbyrde hjemme, førte til at Conradi kom i økonomisk uføre og situasjonen ble ytterligere forverret da apotekergården ble totalskadet av brann i 1822. Først seks år senere var apotekergården gjenoppført med rommelige lokaler for privatbolig, apotekerutsalg og laboratorium. Materialet viser forøvrig at apoteket betjente kunder fra hele fylket og leverte medisiner til fattigvesenet blant annet i Tønsberg, Våle, Ramnes, Nøtterøy og Andebu.