Phillip Cocu va estar molt a prop de debutar amb la selecció de futbol dels Països Baixos l'any 1994; el seleccionador nacional neerlandès Dick Advocaat el va afegir a la llista provisional de 25 jugadors per a la Copa del Món del 1994 als Estats Units d'Amèrica. Tot i així, el llavors jugador del SBV Vitesse no va participar en la cita estatunidenca. El seu debut oficial amb la selecció neerlandesa es va produir en un partit amistós davant Alemanya l'any 1996, quan Cocu tenia 25 anys i l'equip el dirigia Guus Hiddink. El primer gol que va marcar amb la selecció va ser en un partit contra Irlanda el juny d'aquell mateix any. Hiddink va convocar Cocu per participar en el Campionat d'Europa de futbol del 1996. Va disputar dos partits de la fase de grups sortint des de la banqueta, però va ser titular en el partit de quarts de final contra la selecció francesa. Els Països Baixos perdrien aquell partit als penals després d'haver empatat 0-0. Dos anys més tard, l'equip neerlandès es va classificar per al Campionat del Món del 1998, amb Cocu essent ja un habitual de la selecció nacional. Phillip Cocu va jugar tots els partits disputats pels Països Baixos en aquella cita disputada a França, a més a més de marcar contra Corea del Sud i Mèxic durant la fase de grups. En el partit de semifinals contra el Brasil, el partit va posar fi a empat (1-1) i també es va haver de decidir als penals. Cocu va llençar el tercer penal, però el seu xut va ser aturat pel porter brasiler, Cláudio Taffarel. La selecció neerlandesa cauria eliminada al concluir la tanda de penals 4-2 a favor del Brasil.