Ludvig Selmer var sønn av presten Otto Hilmar Selmer (født 1852). Han ble student i 1905 og fra Universitetet i Kristiania i 1911. I 1912 ble han ansatt som tredjeprest i Ullensaker. Fra 1916 var han sogneprest i Siljan, og fra 1924 i Hof i Vestfold.