Evaluation of the effects of a digital health platform on business and medical practices of informal medicine vendors in Lagos, Nigeria
Authors: Ruiz-Gaona Laura A , Friedman Jed , Cheikh Nejma , Wilkinson Thomas , Wang Mengxiao , Vicencio Jasmine , Agha Sohail , Gorgens Marelize 
Published: December 2024

Abstract

An online platform—entitled NaijaCare—offered digital ordering, business development, peer exchange and business skills training to informal medicine vendors in Lagos, Nigeria. Outcomes of these vendors (known as PPMVs—patent and proprietary medicine vendors) who had participated in an earlier round of NaijaCare programming are compared with those of other PPMVs operating in the same local markets. Program impacts are estimated using a difference-in-differences estimator, with inverse propensity weighting to balance possible differences in baseline characteristics between intervention and control PPMVs. NaijaCare’s full range of features did not lead to significant improvements in most of the main outcomes of interest including: a business practice index (−1.4 ± 1.6, P = 0.09), the number of non-counterfeit medicine provided (0.2 ± 0.4, P = 0.25), client perception of PPMV quality (−0.4 ± 0.3, P = 0.03), changes in number of regular clients (−4.0 ± 5.3, P = 0.13) and PPMV role during the COVID-19 pandemic (e.g. not significantly more likely to sell a range of COVID prevention products). Among all participating PPMVs, engagement with the platform was low thereby highlighting engagement as a key determinant of platform success. The subset of PPMVs that did frequently use NaijaCare not only improved their record-keeping practices (0.28 ± 0.27, P = 0.05) but also reported significantly lower daily profits than control PPMVs (−3759 ± 3417, P = 0.04), possibly indicating that push factors for platform engagement, such as business hardship, were responsible for observed adverse outcomes. As platform availability coincided with a tumultuous period of change brought on by the COVID-19 pandemic, these disruptions may have limited intervention use and effectiveness.

RESUMEN
Una plataforma en línea – llamada NaijaCare – ofreció servicios digitales de pedidos, desarrollo empresarial, intercambio entre iguales, y formación en habilidades comerciales a vendedores informales de medicinas en Lagos, Nigeria. Los resultados de vendedores (conocidos como PPMVs por las siglas en inglés de ‘vendedores de medicinas de marca y patente’) que participaron en una ronda de uso de los programas de NaijaCare se comparan con los de otros PPMVs operando en los mismos mercados locales.
Los impactos del programa se estiman utilizando un estimador de diferencias en diferencias, con ponderación de probabilidad inversa (IPW, inverse propensity weighting) para balancear las posibles diferencias en características de base entre los PPMVs control y los de la intervención. El uso de la gama completa de las funciones de NaijaCare no conllevó a una mejora significativa en la mayoría de los resultados principales de interés, incluyendo: un índice de prácticas de negocio (−1.4 ± 1.6, P = 0.09), el número de medicinas no falsificadas proveídas (0.2 ± 0.4, P = 0.25), la percepción de los clientes de la calidad del PPMV (−0.4 ± 0.3, P = 0.03), cambios en el número de clientes regulares (−4.0 ± 5.3, P = 0.13), y el rol del PPMV durante la pandemia de COVID-19 (por ejemplo, no significativamente más dado a vender una gama de productos de prevención del COVID). Entre los PPMVs participantes, el nivel de participación con la plataforma fue bajo, destacando el involucrar al usuario como un determinante clave para el éxito de una plataforma. El subconjunto de PPMVs que sí usó frecuentemente NaijaCare, mejoró sus prácticas de mantenimiento de registros (0.28 ± 0.27, P = 0.05), pero también reportó ganancias diarias significativamente más bajas que las de los PPMVs control (−3759 ± 3417, P = 0.04), posiblemente indicando que algunos factores de empuje hacia usar la plataforma, como sería el sufrir dificultades comerciales, fueron responsables de los resultados adversos. Dado que la disponibilidad de la plataforma coincidió con un periodo tumultuoso de cambios traído por la pandemia de COVID-19, estas irrupciones pueden haber tenido un tiempo de intervención y efectividad limitados.

RESUMO
Uma plataforma online—intitulada NaijaCare—ofereceu encomendas digitais, desenvolvimento empresarial, intercâmbio entre pares e formação em competências empresariais a vendedores informais de medicamentos em Lagos, na Nigéria. Os resultados destes vendedores (conhecidos como PPMV—vendedores de medicamentos patenteados e proprietários), que tinham participado numa ronda anterior da programação NaijaCare, são comparados com os de outros PPMV que operam nos mesmos mercados locais. Os impactos do programa são estimados, utilizando um estimador de diferenças em diferenças, com ponderação de propensão inversa para equilibrar possíveis diferenças nas características de base entre PPMV de intervenção e controlo. A gama completa de características da NaijaCare não conduziu a melhorias significativas na maioria dos principais resultados de interesse, incluindo: um índice de práticas comerciais (−1,4 ± 1,6, P = 0,09), o número de medicamentos não contrafeitos fornecidos (0,2 ± 0,4, P = 0,25), perceção do cliente sobre a qualidade do PPMV (−0,4 ± 0,3, P = 0,03), alterações no número de clientes regulares (−4,0 ± 5,3, P = 0,13) e papel do PPMV durante a pandemia da COVID-19 (por exemplo, não é significativamente mais provável que venda uma gama de produtos de prevenção da COVID). Entre todos os PPMV participantes, o envolvimento com a plataforma foi baixo, destacando assim o envolvimento como um determinante chave do sucesso da plataforma. O subconjunto de PPMV que utilizavam frequentemente a NaijaCare melhorou as suas práticas de manutenção de registos (0,28 ± 0,27, P = 0,05), mas também relatou lucros diários significativamente mais baixos do que os PPMV de controlo (−3759 ± 3417, P = 0,04), indicando possivelmente que os fatores de pressão para o envolvimento na plataforma, tais como dificuldades comerciais, foram responsáveis pelos resultados adversos observados. Como a disponibilidade da plataforma coincidiu com um período tumultuoso de mudança provocado pela pandemia da COVID-19, estas perturbações podem ter limitado a utilização e a eficácia da intervenção.

RÉSUMÉ
Une plateforme en ligne – intitulée NaijaCare – proposait des commandes numériques, un développement commercial, des échanges entre pairs et des formations aux compétences commerciales aux vendeurs informels de médicaments à Lagos, au Nigéria. Les résultats de ces vendeurs (connus comme les PPMV, le sigle en anglais de « vendeurs de médicaments brevetés et exclusifs ») qui avaient participé à un cycle antérieur du programme NaijaCare sont comparés à ceux d’autres PPMV opérant sur les mêmes marchés locaux. Les impacts du programme sont estimés à l’aide d’un estimateur de différence des différences, avec une pondération de propension inverse pour équilibrer les différences possibles dans les caractéristiques de base entre les PPMV d’intervention et de contrôle. La gamme complète des fonctions de NaijaCare n’a pas conduit à des améliorations significatives dans la plupart des principaux résultats étudiés, notamment: un indice de pratique commerciale (−1,4 ± 1,6, P = 0,09), le nombre d’offre de médicaments non contrefaits (0,2 ± 0,4, P = 0,25), la perception des clients de la qualité du PPMV (−0,4 ± 0,3, P = 0,03), les changements dans le nombre de clients réguliers (−4,0 ± 5,3, P = 0,13) et le rôle du PPMV pendant la pandémie de COVID-19 (par exemple, pas significativement plus susceptible de vendre une gamme de produits de prévention du COVID). Parmi tous les PPMV participants, l’engagement envers la plateforme était faible, soulignant ainsi que l’engagement est un déterminant clé du succès de la plateforme. Le groupe de PPMV qui utilisaient fréquemment NaijaCare ont amélioré leurs pratiques d’enregistrement de données (0,28 ± 0,27, P = 0,05), mais ont également signalé des bénéfices quotidiens significativement inférieurs à ceux des PPMV témoins (−3759 ± 3417, P = 0,04), ce qui indique peut-être que les facteurs d’incitation à l’engagement à l’utilisation de la plateforme, tels que les difficultés commerciales, étaient responsables des résultats indésirables observés. La disponibilité de la plateforme ayant coïncidé avec une période tumultueuse de changement provoquée par la pandémie de COVID-19, ces perturbations peuvent avoir limité l’utilisation et l’efficacité des interventions.