寿自少天资过人，能文工书。二十五岁中举人。光绪二十一年（1895年）公车上书，支持维新变法。入通艺学堂以学习外文。光绪二十四年（1898年）春，因父丧返家。他在陕西筹集资金，从上海购买新书报数百种，开办书店，传播维新思想。光绪三十年（1904年），与弟雷多寿同登进士，授工部主事，调巡警部，派往日本考察警政。巡警部改为民政部后，仍任主事。张之洞、袁世凯任军机大臣期间，奏请考选军机章京，雷延寿以第一名入选。中华民国成立，出任北洋政府国务院秘书，调大总统秘书、政事堂机要局参事。政事堂裁并后，借补国务院秘书厅佥