Han tilhørte slekten Paus og var sønn av fogd Henrik Johan Paus og Sophie Lintrup. Han var fetter til Henrik Ibsen; faren var både Knud Ibsens halvbror og Marichen Altenburgs fetter, og hadde dessuten vokst opp med sistnevnte i Altenburggården. Han fikk navnet Ellef fordi faren hadde den uvanlige idé å gi sine eldste barn navn etter deres plass i søskenflokken: Nina, Tina, Ellef og Tollef. Han brukte imidlertid bare navnet Christopher til vanlig. Han var bror til krigskommissær Johan Altenborg Paus og onkel til godseier, pavelig kammerherre og greve Christopher Tostrup Paus.