Az IP telefon ugyan olyan telefon mint bármi más, akár a régi analóg, vagy ISDN telefonok vagy akár a mostani mobiltelefonok. Az előző telefonokat a hálózathoz való csatlakozás eltérő módjai különböztetik meg. Míg a régi analóg és ISDN telefonok egy elkülönített, egyedi fizikai hálózaton azaz vezetéken kapcsolódtak a telefonközpontokhoz és a hálózathoz, addig az IP-telefon a meglévő informatikai hálózatot, illetve az Internetet használja ugyan erre. Ezek a számítógépes hálózatok leginkább un. Internet Protokollt (IP) használják, ebből ered az IP-telefon név.