Народився у Слободському — повітовому містечку В'ятської губернії, у сім'ї службовця-поляка. Батько Стефан Гриневський (1843—1914), польський шляхтич з Дісненського повіту Віленської губернії Російської імперії. Учасник повстання 1863 року за незалежність Польщі, Литви, України та Білорусі від Росії. За участь у січневому повстанні 1863 року в 20-річному віці безстроково засланий у Коливань Томської губернії. У 1869 році йому було дозволено переїхати у Вятську губернію. У 1873 році одружився з 16-річною медсестрою Ганною Степанівною Лепковою (1857—1895). Перші 7 років дітей у подружжя не було, Олександр став їхнім первістком, пізніше народилися брат Борис і дві сестри, Антоніна та Катерина. Отримавши початкову освіту вдома, Олександр продовжив навчання в реальному училищі. Однак, незабаром був виключений за сатиричні вірші, що висміювали педагогів. Згодом, Олександр вступив до міського чотирирічного училища, яке закінчив у 1896 році.