Происходил из дворян Смоленской губернии, родился 4 сентября 1826 г. в Москве. Его отец Павел Петрович Альбединский (1793— ?), был внебрачным сыном обер-гофмейстера Петра Романовича Альбедиля. Мать, княжна Наталья Кирилловна Багратион (1803—1873), кузина знаменитого полководца. По поводу их предстоящей свадьбы А. Я. Булгаков писал 16 июня 1824 года: По окончании курса в Пажеском корпусе, 2 августа 1843 г. выпущен корнетом в Лейб-гвардии конный полк, где, продолжая службу, последовательно получил чины поручика (6 декабря 1844 г.), штабс-ротмистра (21 апреля 1848 г.) и ротмистра (30 августа 1848 г.) и принял участие в Венгерском походе 1849 г. 4 ноября 1852 г. назначен командиром эскадрона в своем полку и 25 июня 1853 г. пожалован во флигель-адъютанты. В феврале—мае 1854 г. находился в Витебской губернии для наблюдения за рекрутским набором.