Религиовед Кнорре Б. К. пишет, что во времена своей юности «"Иванов отличался задиристым, даже хулиганским характером, активно участвовал в деревенских кулачных боях в качестве первого заводилы („битка“)"». По данным Б. К. Кнорре, Иванов отбывал срок в тюрьме за кражу сапог. Во время революционных событий, как отмечает Кнорре, Иванов «"проникся симпатией к большевикам, пытался изучать марксистскую литературу, участвовал в коллективизации и даже закрытии церквей, был принят в компартию"». (По словам самого Иванова, которые приводят его сторонники, в 1928 году он был только кандидатом в члены ВКП(б) и выбыл из кандидатов в том же году, так как не сообщил в местную ячейку партии о своём переезде на новое место жительства).