他对父亲最鲜明的印像是父亲打包行囊准备到伊利诺州各处旅行。 虽然林肯曾为罗伯特感到骄傲，并认为他聪明机灵，但却也有几分将其视为竞争对手。据称一位林肯的熟人说：「他认为鲍伯（罗伯特·林肯）的成就不会超过自己。」 尽管罗伯特·林肯与其父亲的关系不如林肯与其子威廉及塔德那样紧密，但他对父亲却深深感到钦佩，在林肯临终时，他还在众人面前流泪哭泣。罗伯特曾在林肯遇刺的当晚，以在前线大部分时间在蓬车里奔波而感到疲累为由，婉拒受邀陪伴其父母到福特剧院看戏。 1865年4月，在父亲遇刺后，罗伯特与母亲及弟弟塔德搬到芝加哥