Med sine språkkunnskaper og internasjonale erfaring var det ikke unaturlig at Skrefsrud kom i kontakt med frimureriet, og han ble tatt opp i Frimurerordenen i København. Han ble kritisert for dette, og forsvarte seg i skriftet «Basis er vor Kristentro» (København, 1883), der han hevdet at det nordiske frimureri hviler på kristendommen og Bibelen, på dåpsbekjennelsen og troen på forløsningen i Kristus. Denne oppfatning ble angrepet av den danske kirkehistoriker professor Frederik Nielsen i flere skrifter. Diskusjonen medførte at Skrefsrud oppgav å være aktiv i losjen. Ved sin død hadde han VI grad.