Loi de Benford, un détecteur à fraudes électorales ?

Franck Benford

Popularisée il y a quelques mois par une série Netflix, la loi de Benford, ou loi du premier chiffre significatif, s’invite dans la polémique entourant le résultat des élections présidentielles américaines de 2020.

La fréquence de distribution statistique de nombreuses données (de la population des villes, taille de pays, distance des étoiles, prix dans un supermarché … ) apparait comme contre-intuitive au premier abord en plus d’être générale sans raison particulière opposée. Ainsi la probabilité de rencontrer le chiffre 1 en tête de nombre est de 30,10% et est supérieure à celle de rencontrer le 2 (17,61%), elle même supérieure à celle de rencontrer le 3 etc. C’est une loi empirique pour laquelle on cherche encore une explication. L’article de Jean-Paul Delahaye paru dans la revue Pour la Science en est une. Les nombreux articles déjà parus sur le sujet sont répertoriés sur le site anglophone dédié a la loi de Benford. La série Netflix nous avait déjà appris que la loi de Benford était utilisée par l’administration fiscale américaine (IRS) pour déceler les resquilleurs mais pouvait l’être aussi aussi pour détecter les images truquées sur Internet ou deepfake. Ce site nous montre aussi qu’elle est utilisée, entre autres, dans les audit financiers … et dernièrement concernant les statistiques de la Covid ! Les menteurs seraient ainsi piégés par les traces laissées par leurs biais cognitifs, ici d’équiprobabilité. Mais toutes les données n’y seraient pas soumises, la taille des humains en centimètres commence, sauf exception, par un 1 ainsi que, par exemple, des séries sur des plaques d’immatriculation qui sont administrativement distribuées. Pour fonctionner, il semble admis par tous ceux qui se sont penchés sur cette loi que les nombres de la série envisagée doivent varier sur plusieurs ordres de grandeur comme la taille des pays ou de leur population.

Premièrement apparue semble-t-il sur le site red elephants la loi de Benford appliquée aux élections américaines de 2020 a ensuite essaimé sur les réseaux sociaux et sites conservateurs. Suivie de fact checking démentant cette assertion de fraude dans quelques journaux et aussi de la part de l’agence Reuters. En France, c’est Libération qui s’y est collé. Walter Mebane ayant déjà publié des articles sur le sujet « vote/Benford  » semble se proposer pour le « debunking » en publiant sur arXiv. La conclusion s’impose : la loi de Benford ne peut pas prouver qu’il y a eu fraude. Sur ce point tout le monde semble d’accord, la loi de Benford peut juste montrer une irrégularité ou non dans la distribution des données. Irrégularités pouvant jeter un doute ou non justifiant des investigations plus approfondies. Ce ne sont que ces investigations, le cas échéant, qui pourront apporter une quelconque preuve.

L’argument principal de Walter Mebane, et des autres, est que les circonscriptions électorales ont un nombre défini d’électeurs assez étroit, en moyenne de 1100 électeurs sur l’ensemble de l’union et variant d’une moyenne de 400 (Kansas) à 2700 (D. C.) et que donc, l’ordre de grandeur étant trop restreint, comme dans le cas de la taille en centimètres, les données ont une distribution prédéterminée ou contrainte. Il est donc normal qu’elles ne suivent pas la loi de Benford. Enfin, le deuxième argument avancé et que la loi de Benford appliquée à des élections devrait aussi porter sur les chiffres de deuxième rang et qu’il faudrait aussi en faire l’analyse avant de crier à la fraude.

Pour répondre à ces arguments, on peut se contenter du découpage en comtés (counties) qui lui varie de plusieurs ordres de grandeur quant au nombre d’électeurs (de 0 à plus de deux millions soit 7 ordres de grandeur) et d’ajouter l’analyse des chiffres de deuxième rang de la loi de Benford. On pourrait même comparer avec les élections précédentes pour voir, si anomalies il y a, si elles se répètent ou si elles n’apparaissent que pour les élections de 2020.

On peut déjà remarquer que les différences sont bien moins marquées que pour le premier chiffre et qu’une anomalie serait plus difficile à signifier. Quand Mebane et al. parlent de la loi de Benford pour les chiffres de deuxième rang, c’est probablement pour remédier au problème du faible ordre de grandeur des circonscriptions électorales (precincts) qui prédétermine le chiffre de 1^er rang, même si la loi de Benford sur le chiffre de deuxième rang y serait probablement moins significative. Utiliser les comtés (counties) permet de contourner le problème et d’utiliser la loi de Benford pour les chiffres de premier rang certainement de façon plus significative.

Il se trouve que certains se sont déjà attelés à la tâche et que nous allons reprendre leurs résultats. Ici, et merci à lui, Sava, un statisticien de type analyste financier utilise le khi2 et la valeur p pour montrer s’il y a des irrégularités plutôt que des graphiques ce qui permet d’en mesurer précisément la significativité. Le khi2 et la valeur p mesurent l’écart par rapport à la probabilité attendue, ici celle de la loi de Benford. Les seuils suivants sont généralement pris pour référence pour la valeur p :

• p ≤ 0,01 : très forte présomption contre l’hypothèse nulle,
• 0,01 < p ≤ 0,05 : forte présomption contre l’hypothèse nulle,
• 0,05 < p ≤ 0,1 : faible présomption contre l’hypothèse nulle,
• p > 1 : pas de présomption contre l’hypothèse nulle.

L’hypothèse nulle c’est la norme attendue, par exemple la fréquence relative de la décimale considérée (1^er ou 2e rang) selon la loi de Benford. Si la valeur-p est inférieure à un seuil de 5%, on rejette l’hypothèse nulle en faveur de l’hypothèse alternative, et le résultat du test est déclaré « statistiquement significatif ». Sava rajoute d’autres tests comme la comparaison des deux premières décimales des comtés sur les 4 dernières élections sans tenir compte de la loi de Benford. Ce qui est une très bonne chose pour ceux qui disent que la loi de Benford ne serait, pour une raison inconnue, pas applicable aux résultats de cette élection. Mais aussi le test de Kuiper et la simulation de la méthode de Monte Carlo que je ne connaissais pas mais qui, selon lui, répondent aussi à ceux qui disent que la loi de Benford ne s’applique pas pour les élections parce qu’ils permettraient ici de prévoir la fréquence de la violation de la loi de Benford à partir des données des scrutins précédents. Et pour finir, l’analyse conjointe des deux premiers rangs selon la loi de Benford en plus de l’analyse du deuxième rang seule.

Il utilise les données du New York Times pour les résultats par comtés pour les élections de 2008, 2012, 2016 accessibles ici et ici pour 2020. Son tableur est accessible ici.

Considérant que le choix des comtés plutôt que des circonscriptions électorales rend l’analyse valable, nous nous contenterons de présenter khi2 et valeur p pour :

– la loi de Benford pour la première décimale des élections de 2008, 2012 et 2016,

– la loi de Benford pour la première décimale des élections de 2020,

– la différence des deux premières décimales entre les élections de 2020 et les trois précédentes sans tenir compte de la loi de Benford.

Pour ceux, férus de statistiques, qui souhaiteraient voir les autres tests merci de vous reporter au tableur et à la vidéo de Sava. Les résultats à forte présomption de fraude sont en gras. Les résultats à très forte présomption de fraude sont en orange. Les résultats hors catégories sont en gras, orange et entourés de deux points d’exclamation. Tous les tests pointent vers les mêmes irrégularités bien que dans des proportions légèrement différentes.

Les résultats sont que les élections de 2020 présentent des irrégularités statistiques par rapport aux trois élections précédentes qui sont, elles, globalement conformes à la loi de Benford sauf pour les résultats démocrates des élections 2012 dans les États démocrates qui présentent aussi des irrégularités notables par rapport à la loi de Benford mais de manière moins significative qu’en 2020. Que l’on trouve des irrégularités dans les résultats républicains des États démocrates au moment du vote (États bleus). Que l’on ne trouve pas d’irrégularités dans les États républicains au moment du vote (États rouges), que ce soit dans les résultats démocrates ou républicains. Que l’on trouve des irrégularités dans les résultats démocrates des états pivots, les fameux « swing state  » qui font généralement pencher le résultat de l’élection nationale du côté des éléphants ou des ânes d’où leur importance (Arizona, Floride, Géorgie, Michigan, Minnesota, Nevada, Caroline du nord, Ohio, Pennsylvanie, Wisconsin).

Pour ma part, il me semble que ces premières analyses jettent un doute indéniable sur ces élections, autant pour les résultats démocrates et républicains des États pivots démocrates que pour les résultats républicains dans les États démocrates. Comme on peut tricher à la hausse comme à la baisse, il y a plusieurs possibilités, voir que les deux camps aient triché, mais comme généralement personne ne triche pour perdre nous en garderons deux :

• les démocrates sont arrivés à faire baisser les votes républicains dans les États bleus et à faire monter les votes démocrates et faire baisser les votes républicains dans les États pivots bleus,

• les républicains sont arrivés à faire monter les votes républicains dans les États bleus et à faire baisser les votes démocrates et monter les votes républicains dans les états pivots bleus.

La deuxième proposition semble absurde puisque ce sont bien les démocrates qui ont gagné les États bleus, comme attendu, et gagné la majorité des États pivots. Si la deuxième proposition était vrai alors, les républicains sont les plus mauvais tricheurs de l’histoire des États-Unis. Je ne vois pas, à ce stade, au vu des tests statistiques utilisés par Sava, pourquoi la loi de Benford ne serait pas applicable pour les votes des comtés si les données issues du New York Times sont exactes et se repartissent sur plusieurs ordres de grandeur. Maintenant que toutes les données sont complètes et accessibles, peut être qu’un statisticien comme Walter Mebane, ou autre, complétera son premier papier. Je répète encore que la loi de Benford n’est pas une preuve en soi, elle permet juste de montrer des irrégularités qui sont ici statistiquement significatives et qui justifieraient des explications. En ce sens les requêtes juridiques de l’équipe de campagne de Donald Trump pour cette élection apparaissent fondées.

On peut se demander, s’il y a eu fraude, pourquoi personne n’a pensé à la loi de Benford qui est pourtant passée récemment sur Netflix. Car, bien sûr, on peut tricher en rendant compatibles les résultats souhaités avec la loi de Benford. Ce n’est après tout qu’un simple calcul de pourcentage. A première vue, si les fraudes semblent aussi massives, peut-être faudrait-il aller jeter un œil du côté des machines à voter, très répandues outre-Atlantique. Le plus inquiétant est que ces irrégularités statistiques semblent avoir été coordonnées sur l’ensemble du territoire. Car comment décider que les votes républicains soient revus à la baisse dans les comtés démocrates et les votes démocrates montés dans les comtés démocrates des États pivots de manière aussi ordonnée ? Car cela aurait pu être l’inverse. Le silence des grands médias et des agences de renseignements américaines, qui ont des services statistiques aptes à analyser ces chiffres et encore plus inquiétant. Mon sentiment et qu’il semble transparaitre une volonté sous-jacente de faire correspondre les votes aux prévisions médiatiques et sondagières pré-scrutin. Ce qui s’apparente à une tentative de coup d’État. Enfin, les irrégularités les plus flagrantes ont eu lieu dans les comtés démocrates des États démocrates impliquant certainement de nombreuses personnes. Ainsi, de nombreux États et comtés pourraient être considérés comme rebelles.

Je sais que de nombreux articles sont parus ces derniers mois mettant l’accent sur un clivage jamais observé auparavant avec une telle intensité entre les ânes et les éléphants au point que certains en arrivent à évoquer le danger d’une guerre civile. Ainsi, même s’il y avait fraude massive, le deal serait les démocrates au pouvoir ou la guerre civile. Bien sûr c’est un deal intimidant qui en ferait réfléchir plus d’un avant de défendre sa cause même si elle se trouvait justifiée. Pour ma part, je ne crois pas à cette menace dans un avenir immédiat. Alors quoi, la CIA soutiendrait en sous-main des milices armées (et entrainées) pour semer le chaos dans son propre pays ? Et jusqu’où irait-elle ? Cela ne pourrait marcher que si l’armée était du côté des insurgés. Est-ce que cela pourrait vraiment être le cas, et à quel prix ?

Il est dur de faire sienne l’assertion que l’on prête à Voltaire : « je ne suis pas d’accord avec ce que vous dites, mais je me battrai jusqu’à la mort pour que vous ayez le droit de le dire. » Pourtant, c’est la voie de la vérité. Si la fin peut justifier les moyens à court terme, je crois que c’est dommageable à long terme. Si la politique est un pur rapport de force dénué de tout questionnement moral, cela s’y applique aussi même si cela n’est pas immédiatement visible et semble extérieur au but poursuivi.

A y réfléchir, si la loi de Benford fait maintenant la une de l’actualité, les manipulateurs de la data vont maintenant pouvoir s’en prémunir s’ils en ont tous connaissance. Nicolas Gauvrit et Jean-Paul Delahaye nous rassurent pourtant sur ce point : « La loi générale permet de contrer ce risque : en utilisant les variantes avec diverses fonctions f, on repérera les données falsifiées. » Une des méthodes utilisées par les chercheurs est celle dite de Kolmogorov-Smirnov dont le test de Kuiper utilisé par Sava dans la vidéo de l’article est une variante.

Au final cette loi de Benford est bien un détecteur de mensonges numériques redoutable. Au moment de rentrer dans le monde de la donnée numérique à la Philip K. Dick comme on entrerait dans un palais des glaces sans fin, il est bon de savoir que l’on peut transporter avec soi un détecteur de mensonges. 

Détecteur Voight – Kampff pour replicant façon redneck des plaines

Détecteur Voight – Kampff pour replicant façon Vénus stellaire

N. Gauvrit et al., Generalized Benford’s law as a lie detector, Advances in Cognitive Psychology, vol. 13(2), pp. 121-127, 2017.

Bande originale Blade runner, Vangelis. Ridley Scott. Philip K. Dick

https://commentairesengoguette.wordpress.com/