1931年发生了两桩悲剧。首先，彼得、帕维尔以及后者的父亲（维克托·阿斯塔菲耶夫的曾祖父）雅科夫·马克西莫维奇在去富农化运动中被捕，并被发配到西伯利亚劳改营。1931年7月，维克托的母亲莉迪亚在叶尼塞河溺水身亡，当时她正在划船去往她丈夫被关押的克拉斯诺亚尔斯克监狱，载着食物的船只倾翻。那年，彼得·阿斯塔菲耶夫被判入狱5年，罪名是阶级敌人，并被送往臭名昭著的白海-波罗的海运河建筑工地。七岁的维克托在外祖父母叶卡捷琳娜·彼得罗夫纳和伊利亚·叶夫格拉波维奇·波蒂里琴斯的家中成长，他们把所有的爱和关怀给予了这个男孩。1932年，他进入了一所当地的小学。后来在他的短篇小说《最后一次鞠躬》中描述了这段1930年代初期的生活。