Navnet uttales tradisjonelt på lokal bærumsdialekt. Sisteleddet er opplagt , mens førsteleddet har to mulige opphav. Det kan komme av (norrønt , «kol»/«kull»), men det kan også være snakk om mannsnavnet Kol (norrønt ). Den nærliggende gården Kolsberg (tradisjonelt uttalt , ) peker mot det sistnevnte.