Stedet grenser til Skien og Drangedal kommuner på land og Porsgrunn til sjøs, mens kommunen forøvrig også grenser til Kragerø kommune på land og Larvik kommune i Vestfold til sjøs. Herres mest kjente steder er Kongens dam og Herre Kroa, som ligger ved den kommunale veiens ende. Lenger ned mot fylkesveien er det mer tettbygd, og bebyggelsen består hovedsakelig av eneboliger i byggefelt. Et av de største boligfeltene er Ringveien. Boligfeltet Uksodden er også en del av Herre.