Albouy kom fra stedet Tavernes ved Camboulazet og var tredje barn i en bondefamilie med tretten barn. En av hans søstre ble nonne, en av hans brødre misjonær i Arizona.