Durante la era Horthy, Károlyi era persona "non-grata" en su patria.