Родился 17 апреля 1833 года в семье дворян Ярославской губернии А. П. Рыкачева, капитана-лейтенанта в отставке, участника Наваринского сражения, земского и общественного деятеля и его жены А. H. Рыкачевой, урождённой княжны Засекиной. В семье было 12 детей. Брат Михаила Александровича Рыкачева. Воспитанник Морского кадетского корпуса (1847—1851). В 1851 году произведен в мичманы и назначен на корвет «Наварин», совершил заграничный поход.