Han var den andre av tre sønner av de dypt religiøse foreldrene Julius Kolbe og Maria Dabrowska. Faren arbeidet først som vever hjemme, men fikk økonomiske problemer under det russiske styret. Familien måtte da flytte til Łódź og senere i 1897 til Pabianice, hvor faren ble fabrikkarbeider, og familien levde i fattige kår.