Родился в Сент-Луисе в Миссури 22 мая 1857 года. Изучал архитектуру в Гарвардском университете. В 1880 году Гардинер приехал в Японию как англиканский миссионер, но его основной областью деятельностью стала архитектура. В Японии он в основном строил англиканские церкви и дома для представителей элиты. В общей сложности он был автором около сорока построек, но большая часть из них была уничтожена Великим землетрясением Канто в 1923 году.