Navnet Utstein skriver seg opprinnelig fra et lite skjær vest for Klosterøy, hvor garden og klosteret ligger. Utstein opptrer i historiske kilder som kongsgård alt på 800-tallet. Stedet blir omtalt i Snorres saga om Harald Hårfagre; i Haraldskvadet fortalt av Torbjørn Hornkløve: «Dei freista den framdjerve, han som flugt deim lærde, herren yvi austmenn, som bur paa Utstein». Historikerne heller mot at Vestlandet var utgangspunkt for rikssamlingen av Norge, datert til 872.