Mesurer l’impact: entre défis et solutions

Ce mois-ci, nous avons interviewé Tom Adams, cofondateur et directeur de la stratégie chez 60 Décibels, une entreprise spécialisée dans la collecte de données dans le domaine de la mesure d’impact. Ils nous aide à y voir plus clair dans ce monde complexe qu’est la mesure de l’impact en démystiphiant de vieilles idées préconçues qui persistent et en nous présentant ses solutions pour réellement moderniser nos pratiques en maitère de mesure d’impact.

Pourquoi est-il important de mesurer avec précision l’impact de nos investissements ? Est-il possible d’étendre cette pratique ?

C’est important parce que l’impact n’est pas un concept académique abstrait (même si cela semble parfois être le cas). C’est un changement réel occasionné dans la vie de personnes réelles. En outre, si un investisseur ou une organisation indique provoquer un impact positif dans un secteur donné (dont ils sont eux-mêmes susceptibles de bénéficier) et qu’elle s’avère fausse, ce n’est pas l’investisseur qui est menacé, mais quelqu’un d’autre. Une mesure précise de l’impact n’est donc pas seulement un outil permettant d’accroître les connaissances ou d’améliorer notre performance en matière d’impact, elle est également essentielle d’un point de vue moral.

Il n’y a pas de limite à la généralisation des bonnes pratiques de mesure d’impact. Comme pour toute autre chose, il s’agit de réduire son coût et d’augmenter sa valeur. Ce sur quoi nous nous concentrons à 60 Décibels, c’est la création de produits de performance sociale reproductibles, simples et évolutifs. Après de nombreuses expérimentations, il s’agit principalement d’enquêtes sociales téléphoniques de 10 à 15 minutes, dans lesquelles nous utilisons des enquêtes standardisées à méthodes mixtes réalisées par des chercheurs locaux. Bien sûr, il y a beaucoup de difficultés dans les détails en termes de conception de bonnes questions, de contrôle de la qualité des données, etc. mais cela fonctionne parce que, fondamentalement, ce n’est pas si compliqué.

 

Mesurer les impacts environnementaux semble plus scientifique et plus simple, est-ce une idée fausse ? Est-il possible de mesurer les impacts sociaux avec un niveau de rigueur similaire ?

C’est une idée totalement fausse. Il est vrai qu’aujourd’hui le monde est beaucoup plus avancé dans la mesure des impacts environnementaux. Cela s’explique sans doute en partie par l’efficacité des mouvements sociaux et politiques qui s’intéressent aux changementx climatiquex (bravo à eux!), ainsi que par le sentiment que nous avons une course contre la montre à remporter. Mais je pense aussi que cela a beaucoup à voir avec la perception de la simplicité et la concentration sur une mesure focale “objective” : le dioxyde de carbone.

Pour une raison quelconque, les professionnels tels que les investisseurs semblent excessivement préoccupés par le fait que les mesures et les indicateurs clés de performance doivent être objectifs plutôt que subjectifs. C’est peut-être parce qu’on nous a dit que les sondages politiques étaient inexacts, ou parce que les économistes comportementaux ont réussi à démontrer à quel point notre cerveau est irrationnel. Quoi qu’il en soit, il me semble très étrange que nous perdions si souvent de vue le fait que la valeur sociale est intrinsèquement liée à nos perceptions, en tant qu’êtres humains, de notre expérience vécue. La meilleure façon de comprendre cela est tout simplement d’écouter les gens.

Quant à la rigueur des mesures effectuées, il existe une longue tradition de mesure de nos perceptions. La recherche sociale de qualité existe depuis des siècles. Il est clair qu’il faut faire attention à certains éléments comme les préjugés (qui peuvent se présenter sous une myriade de formes), mais comme toute chose, avec de la prudence, c’est quelque chose que l’on peut contrôler et atténuer.

 

Quels sont les meilleurs outils de mesure pour obtenir une image claire de l’impact d’un investissement ?

C’est là que j’ai beaucoup de sympathie pour les personnes qui abordent l’impact pour la première fois. Il existe un nombre impressionnant d’outils et de plateformes qui prétendent mesurer l’impact, ainsi qu’un large éventail de cadres et de normes auxquels ils s’appliquent. J’en ai souvent mal à la tête et j’y travaille chaque jour.

Pour l’essentiel, je diviserais tous ces outils en deux catégories : les cadres qui vous aident à décider “quoi” mesurer, et les autres outils qui fournissent une solution pour décider “comment” mesurer.

Le choix d’un cadre de mesure peut dépendre du fait que votre stratégie vise à gérer le risque financier associé aux facteurs sociaux (ESG), à éviter les dommages ou à maximiser la valeur sociale positive. L’Impact Management Project est à juste titre une ressource reconnue pour mieux comprendre ces approches et ce qu’elles peuvent signifier pour la mesure (bien qu’il ne s’agisse pas d’une norme et qu’il ne vous guide pas non plus sur la manière de mesurer).

La façon de mesurer réellement – qui a reçu comparativement moins d’attention que le “quoi” – est à bien des égards une tâche plus difficile. Je pense depuis longtemps qu’il s’agit là de l’éléphant dans la pièce de la mesure de l’impact, et de la raison pour laquelle les mesures de bonne qualité restent plutôt rares. Pour répondre aux défis liés à la façon dont les outils disponibles pour notre secteur ont eu tendance à se concentrer sur la mesure par approximation comme une sorte de raccourci “suffisant”, deux approches sont mises en avant. Tout d’abord, le recours à des plateformes qui utilisent des données opérationnelles et financières existantes qui sont ensuite reconverties en impact (vies touchées, emplois créés, etc.). Deuxièmement, dele recours à des outils qui consolident les recherches existantes et les appliquent à d’autres contextes.

Le problème est que les approximations ne sont pas bien adaptées à l’optimisation des performances. Si nous voulons être aussi sérieux sur la mesure de l’impact que sur la performance financière, nous devons passer à autre chose. Il est clair que je suis très partial, mais je pense que les meilleurs outils sont ceux qui écoutent directement des groupes de parties prenantes représentatifs et statistiquement significatifs et qui les interrogent directement sur leur expérience vécue. Ces outils devraient ensuite être utilisés de manière répétée, et ce, à grande échelle pour créer des repères de performance. C’est exactement de cette manière que nos produits sont construits et utilisés.

 

Sur votre site web, vous soulignez l’importance de la collecte de données effectuée par de vrais humains. Pourquoi cela ?

Oui, nous parlons de données provenant de (et par) de vrais êtres humains. Bien que la collecte de données sur l’impact social auprès de personnes réelles reste l’exception plutôt que la norme, très peu de personnes s’y opposent. Après tout, si vous essayez d’améliorer le bien-être de quelqu’un d’autre, qui devrait être le juge ultime de cette amélioration, vous ou eux ?

Le terme “par” est davantage un choix tactique. Nous savions que les enquêtes en personne (qui sont souvent le choix de facto de l’évaluation traditionnelle) étaient trop coûteuses pour être généralisées et nous avons expérimenté de nombreux outils technologiques pour administrer les enquêtes sociales, comme les SMS, les IVR et les enquêtes en ligne, qui sont beaucoup moins coûteuses. Cependant, ces outils technologiques avaient leurs propres défauts (faibles taux de réponse, enquêtes courtes, mauvaise interface utilisateur) et nous avons donc opté pour les appels téléphoniques de personne à personne comme juste milieu. Nous ne l’avons jamais regretté. Aucun outil n’est “parfait”, mais les appels téléphoniques peuvent être utilisés pour recueillir d’excellentes données, offrir une meilleure expérience de l’entretien et, d’un point de vue critique, peuvent être étendus efficacement.

Une fois que vous avez les données, comment les utilisez-vous ? Comment identifiez-vous les bons points de référence pour permettre une comparaison significative ?

Excellente question. En fin de compte, les données sont aussi bonnes que les décisions qu’elles permettent de prendre. Cette question s’adresse généralement à la direction de l’entreprise ou aux investisseurs eux-mêmes. Bien entendu, nous fournissons des conseils fondés sur notre expérience, mais nous sommes une société de collecte de données et, pour l’instant, nous nous concentrons sur le développement de cette activité. Nous sommes donc prudents lorsqu’il s’agit de fournir des recommandations définitives à des personnes qui connaissent leur entreprise mieux que nous.

L’intérêt de nos données est soit de valider ce que vous soupçonnez déjà (auquel cas la décision est de poursuivre votre chemin actuel), soit d’apporter une nouvelle perspective qui vous amène à poser de nouvelles questions sur votre produit ou votre modèle opérationnel. Les données montrent que vous n’atteignez pas la population cible que vous souhaitez servir. Alors quelle est votre voie d’accès au marché, externalisez-vous ou intégrez-vous votre modèle de distribution. Votre modèle de tarification ou de financement est-il correct ? Si les données indiquent que vos performances sont inférieures à nos critères de référence, examinez ce qui, dans votre produit ou service, ne crée pas la valeur que vous espériez, ce qu’un pair pourrait faire de mieux que vous.

En ce qui concerne les points de référence eux-mêmes, ils proviennent de la répétition des questions au fil du temps. Nous pouvons proposer des repères pour des questions individuelles, comme la proportion d’utilisateurs du produit X vivant sous le niveau de revenu Y, ou notre nouvelle approche consiste à combiner plusieurs indicateurs d’impact dans des indices d’impact. Prenons l’exemple de notre indice d’impact de la microfinance : nos repères sont constitués des performances agrégées des prêteurs en matière d’inclusion financière, de meilleure gestion financière, de plus grande résilience financière, ainsi que des impacts sur une micro-entreprise et/ou un ménage.

 

Quels sont, selon vous, les défis qui doivent encore être relevés dans ce domaine ?

En vérité, le domaine de la mesure d’impact reste quelque peu naissant. Il y a encore beaucoup de choses à construire, des normes pour savoir qui paie pour la mesure, la consolidation des normes, une meilleure clarté sur les pratiques de rapport et les fournisseurs d’assurance de ces rapports.

Cela prendra du temps. Nous sommes essentiellement en train de construire les outils équivalents pour la comptabilité sociale qui ont été développés pendant des centaines d’années pour la comptabilité financière.

Cependant, pour ceux d’entre nous qui sont des geeks de la mesure d’impact, le rythme du changement et de l’amélioration est assez remarquable, et s’accélère chaque année. Je suis très optimiste quant au fait que, dans un avenir proche, la mesure et la communication de l’impact seront complètement révisées.

Ce faisant, le monde des affaires tel que nous le connaissons changera, et il deviendra tout à fait normal pour les entreprises de mesurer et de gérer plus que leurs performances sociales et financières.