时兖州仙源县（今山东省曲阜市）人。孔子四十七代孙，孔仁玉玄孙，孔宜曾孙，孔延泽之孙，孔宗愿次子。孔若虚早年中进士第。元符元年（1098年）其兄孔若蒙因监修祖庙坐事被罢免。孔若蒙有子二人孔端友、孔端操，都还年幼，不能主事。朝廷大臣推荐孔若虚嗣位，于是宋哲宗由孔若虚嗣位奉圣公。崇宁三年（1104年），孔若虚因病去世，宋徽宗命孔端友嗣位衍圣公。