במרץ 1971 עלו יוסף קרלר ומשפחתו לישראל, ותוך זמן קצר יצא בה לאור ספרו, אשר הועבר מברית המועצות עוד קודם: "געזאנג צווישן ציין" (עם הקדמה מאת דב סדן; זכה בפרס איציק מאנגר). ספר זה כלל כמעט את כל השירים שכתב קרלר בגולאג. לאחר מכן התפרסמו הקבצים "זעט איר דאך" (1972), "צוועלפטער אויגוסט 1952" (1978; על רצח פעילי התרבות היהודית בברית המועצות), "די ערשטע זיבן יאר" (1979), "הימלשאפט" (1986), "געקליבענע פראזע" (1991), "אבי געזונט" (1993), "שפיגל כתב" (1996; קובץ השירים המשותף עם בנו, בוריס קרלוב) ו-"דווקא איצט" (2005).