ラヨシュはフランス王家カペー家の流れをくむアンジュー家出身で、母エルジュビェタ(ハンガリー名エルジェーベト、1305年-1380年)はヴワディスワフ1世の娘、カジミェシュ3世の姉だった。