Павел Иосифович Иванов родился а в Санкт-Петербурге в семье заведующего газовым освещением Мариинской больницы Иосифа Ивановича Иванова. Иосиф Иванович был белорусом из Велижа и в метрическом свидетельстве записан как Радкевич. Однако ещё во времена Январского восстания Иосиф Радкевич сменил фамилию на Иванов, взяв за основу своё отчество, так как прежняя фамилия у многих ассоциировалась с польской, а «каждый гражданин в Петербурге, носящий польскую фамилию, в глазах окружающих считался врагом России». В конце 1884 года Иосиф Иванович умер от чахотки и Павел с матерью Любовью Прокофьевной остались вдвоём. В семь лет Павла по просьбе матери взяли в церковный хор, певший в храме Святого Пантелеймона и церкви Михайловского замка, а позже — в Смольном соборе. Двенадцатилетним ребёнком он был приглашён в частный пансионат для одарённых детей главного регента Казанского собора Александра Семёновича Фатеева, где обучался теории музыки, игре на скрипке и фортепиано. Сюда приходила преподавать Закон Божий дочь настоятеля собора — богослов Екатерина Александровна Лебедева. Павел Иосифович тепло отзывался о ней в своих мемуарах: «Эта особа в моей жизни сыграла решающую роль. &lt;…&gt; Она с присущим ей тактом всегда умела весь разговор облекать в особую чистую, святую форму. &lt;…&gt; Уроки её явились нашим настоящим воспитанием: это был фундамент, на котором мы строили впоследствии хорошее в жизни».