Skogergaten 1 er et toetasjes kontorbygg. I gatens nummer 2, kvartalet mot Meierigaten, lå Tønsberg Meieri fra 1936 til 1989. Bygningene er nå brukt til forretninger og leiligheter. I nummer 3-5 ligger Tønsberg Pinsekirke Betania i et bygg fra 1935 som senere er påbygd. Resten av bebyggelsen i gaten består av boliger. Skogergaten 7 brant ned til grunnen i 2007, og et nytt boligbygg ble reist i 2010.