Болгарский родился в семье священника; дата его рождения точно не установлена. Получил образование в Московской духовной академии, а потом обучался в Московском университете и поступил на службу кадетом в Оренбургский драгунский полк. Находясь на Оренбургской пограничной линии, он неоднократно участвовал в походах на киргиз-кайсаков. В чине прапорщика был назначен адъютантом к генерал-поручику Игельстрому, оставаясь при котором до 1796 года, занимал последовательно должности: военного секретаря, адъютанта и управляющего военно-походной канцелярией. В течение этого времени он принимал участие в войне со Швецией 1790 года (сражался под Пардокоски и Керни) и в 1794 году — с Польшей, причём, тяжело раненый под Варшавой, был взят неприятелем в плен и освободился лишь через 7 месяцев. В бытность генерала Игельстрома начальником над Оренбургским краем Болгарский находился в делах при усмирении киргиз-кайсаков Меньшей Орды и тогда же способствовал учреждению в орде правильного судопроизводства и развитию торговых сношений с Бухарой и Хивой.