Nació en Glasgow, en Escocia, como "James Frazer Stirling" y estudió arquitectura en la Universidad de Liverpool.