Langeland har vært kommunepolitiker helt siden starten av sin politiske karriere. Fra 1975 til han flyttet til Stavanger i 1977, satt han i skolestyret i Strand kommune. I 1987 startet han sin karriere i kommunepolitikken i Stavanger, også her som medlem av skolestyret og som varamedlem til bystyret. I perioden 1991–1995 var han gruppeleder for SVs bystyregruppe i Stavanger, og medlem av formannskapet. I 1995 manglet Langeland 1 personstemme på å bli gjenvalgt til bystyret i Stavanger. En permisjon i SVs bystyregruppe gjorde at Langeland likevel fikk fast plass i bystyret det siste året før han ble valgt inn på Stortinget i 1997.