Zamiast użyć ArrayAdapter nie lepiej już napisać własnego Adapter, który może być później przydatny.