В 1981 году Руфаи дебютировал за сборную Нигерии. 24 июля 1993 года в отборочном матче кубка Африки против сборной Эфиопии Питер реализовал пенальти и забил свой первый и единственный гол за национальную команду. В 1994 году он принял участие в Кубке африканских наций и стал его победителем.