Ivancho trakk seg plutselig, av personlige årsaker, den 2. desember 1954. Ifølge en historisk fremstilling av Serge Keleher ble Ivancho tvunget til å trekke seg da det ble avdekket at han i all hemmelighet hadde giftet seg etter presteordinasjonen. Han ble egentlig fjernet fra embedet og laisert.