Stedsnavnet kommer fra gården Kambo, som ifølge Oluf Ryghs verk om norske gårdsnavn kommer av «Kambhorn». Han angir at «horn» trolig kan tolkes som et fremspringende hjørne, noe som viser til det høye neset på nordsiden av Kambobukten. Stedet er først nevnt i en kilde fra 1273.