Из потомственных дворян Тверской губернии. Сын капитан-лейтенанта Александра Васильевича Колокольцова (1786-22.01.1850) и Марии Павловны (урожд. Титова), у которых родилось 11 детей. Венчались 17 февраля 1826 г. Его старший брат Николай был контр-адмиралом, в чине лейтенанта с отличием участвовал в Синопском сражении.