Området rundt Vestby stasjon kalles sentrum, mens øvrig bebyggelse sør for togskinnene kalles Sole. På venstre side av E6 ligger Pepperstad. Området nord for sentrum kalles Randem. Vest for tettstedet står Vestby kirke.