Kasten de Pontin vanhemmat olivat tilanomistaja ja kollegiregistraattori Karl Jakob Reinhold De Pont sekä Klara Tilda Lovisa Gadolin. De Pont opiskeli Haminan kadettikoulussa 1860–1868 ja aloitti sotilasuransa vänrikkinä Henkikaartin Izmailovon rykmentissä. Hänet nimitettiin 1876 tarkk’ampujapataljoonan komentajaksi ja ylennettiin seuraavana vuonna alikapteeniksi. Turkin sodassa vuosina 1877–1878 De Pont osallistui muun muassa Gornyi Dubnjakin taisteluun, Plevnan piiritykseen, Pravecin taisteluun, Shandornikin pommitukseen, Balkanin vuorten ylittämiseen, Sofian valtaukseen sekä Taschkisenon ja Wraschdebnan taisteluihin. Sen jälkeen hänet nimitettiin keisarin henkivartiokomppanian päälliköksi kapteenin arvoisena ja 1880 keisarin sivusadjutantiksi. Vuodesta 1881 De Pont toimi Suomen asevelvollisen sotaväen palveluksessa ja oli 1882–1885 Suomen Sotaylioikeuden jäsenenä. Hänet ylennettiin 1881 everstiluutnantiksi ja 1885 everstiksi.