Отец Кузьмы Константиновича занимался охотой, рыбалкой, добычей пушнины. Этим промыслом жила вся семья, в которой был достаток. В 1933 году, когда Нестерову было 10 лет, семью раскулачили по инициативе местных активистов. Сначала родителей, трёх братьев и сестру выгнали из дома, а позже оставили семье первый этаж двухэтажного дома, а на втором этаже сделали контору колхоза. До ухода в армию Кузьма жил с родителями, так как был самым младшим в семье.