他的一些先祖曾任唐朝的县令。建中四年（783年），长安兵变反对唐德宗，拥立将领朱泚，德宗被迫逃到奉天，被朱泚围困，赵隐的祖父赵植率家仆和宾客协助守城。朱泚之乱平定后，赵植入朝，后任岭南节度使，卒于任上。赵隐的父亲赵存约曾为时任山南西道节度使的前宰相李绛的从事。太和四年（830年），士兵兵变，赵存约试图协助李绛对抗变兵，结果与李绛一同被害。赵隐至少有一个弟弟赵骘（《新唐书》本传作兄）。赵隐是个仁孝的人，父亲的死让他很悲伤，他用十多年的时间在父亲坟墓旁学习，也不参加科举。当时，赵家家贫，赵隐和赵骘兄弟相睦，