Johann var sønn av Leopold II og bror av Frans II, begge tysk-romerske keisere. Johann var født i Firenze der faren var storhertug. Da Leopold ble tysk-romerske keiser i 1790, fulgte Johann med til Wien.