市街地は旧4町村(遠軽、生田原、丸瀬布、白滝)のそれぞれにあり、市街地の標高はもっとも低い遠軽(町役場本所)で74m、もっとも高い白滝(白滝総合支所)で357mである。