Fue el hijo de un dibujante francés, Augustus Charles Pugin, quien lo entrenó para dibujar edificios góticos para usarlos como ilustraciones de sus libros.