ભારતના પ્રથમ ગૃહપ્રધાન તરીકે સરદાર પર પાકિસ્તાનમાંથી હિંદુ અને શીખ શરણાર્થીઓને પુનઃસ્થાપિત કરવાની મસમોટી જવાબદારી હતી તથા તેમણે સરકારી સેવાઓનું માળખું પણ વ્યવસ્થિત કરવાનું હતું.