Charles Philip Ingalls ble født den 10. januar 1836 i Cuba, New York. Han var det andre av i alt ni barn av Landsford Whiting Ingalls og Laura Louise Colby Ingalls, som Laura i sin første bok, «Little House in the Big Woods» (Det lille huset i den store skogen) kalte for «Grandpa» og «Grandma». I 1840 flyttet familien fra New York til byen Elgin i delstaten Illinois, før de flyttet videre til Wisconsin. Der møtte han på Caroline Ingalls, som han giftet seg med den 1. februar 1860. Sammen fikk de fem barn: Mary Amelia Ingalls, Laura Elizabeth Ingalls Wilder, Caroline «Carrie» Celestia Ingalls Swanzey, Charles Frederick «Freddie» Ingalls og Grace Pearl Ingalls Dow.