Khalidi obtuvo una licenciatura en la Universidad de Londres en 1945, tras lo que estudió en la Universidad de Oxford, en la que obtuvo un Máster en Letras en 1951. A partir de ese momento comenzó a dar clases en la Facultad de Estudios Orientales de la Universidad de Oxford, de la que dimitió tras el ataque tripartito británico, francés e israelí a Egipto en 1956 y siguió enseñando en la Universidad Americana de Beirut. En los años cincuenta escribió dos ensayos sobre Abd al-Ghani al-Nabulsi, un erudito sufí sirio que había escrito sobre la tolerancia y que la practicó con los cristianos y judíos con los que se encontró.