Семейство Гирсов имело шведские корни: прадед, Лоренц Гирс, генерал-кригс-асессор, был дважды взят в плен Петром I ( под Ригой и под Полтавой). После второго возвращения из плена на родину в Швецию, в 1712 году был возведён королём Карлом XII в дворянское достоинство. Дед, Лоренц фон Гирс занимался продажей шведского фарфора в России и переселился в Санкт-Петербург. Первым в русскую службу вступил отец Александра Карловича, К. Л. фон Гирс.