לאחר עליית הנאצים לשלטון, בחרם אחד באפריל 1933 על עסקים יהודיים, הותקפה המשפחה. בני המשפחה לא נפגעו פיזית, אך האב סגר את חנותו. הוא היה חבר בברית חיילי החזית היהודים עד שזו פוזרה וקיומה נאסר בצו הנאצים. אבירם היה חבר בקבוצת הכדוריד של הקהילה היהודית בברלין, עד שקיום הקבוצה נאסר ב-1938. לאחר ליל הבדולח נאסר עליו ללכת לבית ספר ממלכתי והוא החל ללמוד בבית ספר יהודי. בליל הבדולח נעצרו דודיו קורט גרינברג (Kurt Grünberg) ואריך יעקובזון (Erich Jacobsohn) הקומוניסט ונשלחו למחנה הריכוז זקסנהאוזן, אך שוחררו כעבור תקופה קצרה. אחותו של צבי, בטי, נשלחה בקינדרטרנספורט לבריטניה ומשם לאוסטרליה.