Hermann Gmeiner ble født som det sjette av ni barn i en bondeslekt i Vorarlberg. Da han var fem år døde moren, og hans eldste søster Elsa tok ansvaret for de minste barna og ble den viktigste omsorgspersonen for ham. På grunn av gode skoleresultater fikk han et stipend som gjorde det mulig for å ham å gå på gymnaset i Feldkirch.