Foreldrene var Laura Ulmer og billedhuggeren Georg Ulmer. Laura ble enke i 1920 – i en alder av 28 år. Rene tilfeldigheter førte til Jørgen Frederiks kunstnerkarriere. Da han var blitt 13 år, tok moren ham med seg til Mallorca hvor hun hadde hørt at det skulle være billig å bo. Laura var forfatter og journalist og skrev kritiske artikler om Francisco Franco. Da den spanske borgerkrig brøt ut, måtte de to flykte til Barcelona og siden til Perpignan.