Robertson pasó su infancia en un barrio pobre y segregado de Indianápolis, donde se trasladó con cuatro años de edad, en el seno de una familia con tan pocos recursos que no pudieron comprarle un balón de baloncesto para practicar con él, y teniendo que fabricarse uno a base de una pelota de tenis envuelta en tiras de goma.