Петро Скаржинський був сином сотника Лубенського козацького полку Михайла Скаржинського, який походив або з роду польських емігрантів, або з дворян польського походження. Так само як і походження, невідомі деталі початку військової кар'єри Петра Михайловича, яка припала на 60-70-ті рр. XVIIІ ст. під час військових кампаній Російської імперії у Речі Посполитій та Османській імперії.