Православный. Потомок французского дворянского рода, один из представителей которого эмигрировал в Россию после Июльской революции 1830 года. Сын графа Филиппа Осиповича Доррер (ум. 1863) и жены его Антонины Ипполитовны Дорогобужиновой. В раннем возрасте потеряв отца, воспитывался матерью и дядей . Унаследовал его имение в Белгородском уезде (1300 десятин).