Родился в Алабаме, родители были родом из Коннектикута. Отец художника был одним из первых сквоттеров-переселенцев с севера страны на эти территории. Когда Хорасу было шесть лет, семья перебралась в Балтимору, Мэриленд. Здесь юноша поступает в местный университет Ньютона, и начинает брать уроки рисования у жившего в Балтиморе немецкого художника-пейзажиста Августа Вейденбаха. В 1859 году Роббинс уже в Нью-Йорке, где обучается у шотландского живописца Джеймса Макдугал Гарта. В 1860 году Роббинс оканчивает курс в университете Ньютона и открывает собственное художественное ателье. Во время Гражданской войны в США молодой человек служит в армии северян, в 22-м Нью-Йоркском полку. Участник сражения при Харперс-Ферри в 1862 году.