Estos axiomas, en la forma propuesta por Peano, no podían ser formalizados en un sistema lógico de primer orden, aunque al principio no se pensó que eso constituyera un problema, por lo que por algún tiempo se trabajó en la fundamentación de la aritmética y la teoría de conjuntos usando lenguajes formales de primer orden; sin embargo, el programa de Hilbert sufriría un revés importante cuando Kurt Gödel probó que la formalización de la aritmética mediante un sistema de primer orden en el más puro estilo del programa de Hilbert era problemático.