Kilpatrick war das vierte Kind von Colonel Simon Kilpatrick und Julia Wickham; er wurde im Januar 1836 auf der Farm der Familie nahe Deckertown geboren. Im Alter von 20 Jahren wurde er zum Studium an die US-Militärakademie West Point berufen, das er 1861, kurz nach dem Beginn des Bürgerkrieges, als 17. von 45 seiner Klasse abschloss. Kilpatrick wurde am 6. Mai 1861 zum Leutnant beim 1. U.S.-Artillerieregiment befördert. Drei Tage später erfolgte die Beförderung zum Hauptmann der Freiwilligen im 5. New York-Infanterieregiment und am 14. Mai die Beförderung zum Oberleutnant des regulären Heeres. Im Gefecht bei Big Bethel am 10. Juni 1861 wurde Kilpatrick als erster US-Offizier des Krieges verwundet. Am 25. September wurde er zum Oberstleutnant der Freiwilligen im 2. New York-Kavallerieregiment befördert und am 29. Januar 1862 zum ebendiesem Dienstgrad des regulären Heeres. Im August 1862 unternahm er einen Angriff gegen die Virginia Central Railroad und kämpfte auch in der zweiten Schlacht am Bull Run. Im Dezember wurde Kilpatrick zum Oberst befördert, und bei der Schaffung des Kavalleriekorps der Potomac-Armee 1863 erhielt er eine Brigade, mit der im Mai während Stonemans Angriff bis kurz vor Richmond kam.