Alla base del funzionamento del VoIP nelle sue varie declinazioni vi è il SIP, acronimo per Session Initiation Protocol, che è un protocollo specifico per il caso ed atto a stabilire una sessione di comunicazione generica tra almeno due "attori" coinvolti. Il fatto che SIP (iniziali curiosamente uguali a quelle della Società  Italiana per l'Esercizio Telefonico S.p.A., che poi negli anni 90 sarebbe diventata Telecom Italia) sia uno standard open (cioè aperto, i cui dettagli di funzionamento sono noti pubblicamente) ha alimentato il mercato della telefonia in maniera vertiginosa, facendo crescere il settore fino ad oggi.
Semplificando un po' i termini del discorso, un server SIP si interpone tra due telefoni, consentendo sia le telefonate in entrata che quelle in uscita in modo bi-direzionale, mediante varie fasi di comunicazione che partono da un "invito" (letteralmente invite, una sorta di richiesta di comunicazione che parte nel momento in cui componiamo un numero). L'invito viene inoltrato al destinatario dal server, che poi si occupa di far suonare il telefono e rimane in attesa di risposta: a quel punto, se l'interlocutore risponde, può avere inizio la chiamata. Si noti come, per far funzionare il VoIP, non serva necessariamente una connettività  ad internet: in locale, ad esempio nello stesso edificio o ufficio, il VoIP può funzionare anche solo su rete LAN.
Lo standard SIP è stato dettagliato nel documento ufficiale RFC 3261.