Бэйфилд родился в Челтенхэме, Англия, в семье священника Джорджа Бэйфилда Робертса, и его жены Иды, старшей из трех внебрачных дочерей Эдварда Лоу, 1-го графа Элленборо, видного политика и генерал-губернатора Индия в годы, предшествовавшие восстанию сипаев. Прадед Сен Клэра по материнской линии был лорд главным судьей Англии. Мало что известно о ранней жизни Бэйфилда в Англии, но в молодости он отплыл в Новую Зеландию, где служил моряком и солдатом: на вечере в честь своего 90-летия он пел некоторые морские шанти из того периода своей жизни. Также он пробовал вести фермерское хозяйство.