Ce billet est un article invité. Il a été rédigé par Océane Mignot sur le blog de Bertrand Jouvenot.

Extrait de l’ouvrage : « La Transformation Digitale des entreprises : Principes, exemples, Mise en œuvre, impact social », Edition Maxima, Océane Mignot, Février 2019.

Dans le domaine de la justice, la digitalisation de notre société nous amène à nous questionner sur différents domaines de la justice. Je vous propose d’en traiter quelque un qui m’interroge.

Stigmatisation et présomption d’innocence

L’application de la biométrie peut entraîner une classification erronée et une stigmatisation. Ainsi, on peut placer automatiquement une personne dans certaines catégories, comme terroriste, criminel ou peu fiable. Cela peut conduire à un renversement de la présomption d’innocence. Les systèmes biométriques peuvent faire en sorte qu’une personne soit considérée comme un criminel jusqu’à preuve du contraire. Il est fort probable que ce stigmate persistera parce que la présomption est stockée dans une base de données[1]. Cela pourrait être renforcé par la reconnaissance faciale, qui facilite la détermination de l’identité d’une personne. Ainsi, la stigmatisation d’une personne peut se produire à son insu. Au nom de la sécurité nationale, on pourrait se permettre l’impensable, ce qui signifie que la technologie sera utilisée à des fins différentes de celles prévues initialement selon M.Tzanou[2].

Exploitation et exclusion

Les plateformes garantissent le double rôle des utilisateurs en tant que professionnels et consommateurs. Dans ce contexte, on les appelle les « prosommateurs ». La puissance des plateformes réside dans le fait qu’elles réunissent l’offre et la demande de manière efficace. Elles créent, grâce à des mécanismes d’évaluation intelligents, la confiance qui permet des transactions telles que la location d’un appartement à une personne inconnue. Pour pouvoir répondre efficacement à l’évolution de la demande, les plateformes disposent souvent d’une équipe flexible de fournisseurs qui sont disponibles sur commande. C’est pourquoi nous avons affaire à une économie à la demande selon T.Scholz[3]. Le fait que les prestataires offrent leurs services sur appel et ne sont pas employés de façon permanente exerce une pression sur les mécanismes traditionnels de protection des employés, avec le risque latent d’exploitation. Nous constatons que les journées de travail des chauffeurs Uber sont trop longues et qu’ils ont peu d’influence si la compagnie décide d’ajuster les tarifs[4]. Force est de constater qu’aujourd’hui, aucune législation ne protège les employés et ne limite les risques de précarité que ce schéma économique favorise.

En même temps, les plateformes peuvent décider unilatéralement de refuser son accès à un utilisateur. Pour les utilisateurs qui dépendent de l’accès à la plateforme pour leurs revenus, cela peut avoir des conséquences néfastes. Les études de cas actuelles montrent en outre que les plateformes n’hésitent pas à exclure certains utilisateurs. Les chauffeurs Uber ne peuvent pas avoir une note inférieure à 4,6 étoiles (4,8 étoiles sont la moyenne). Dans le cas contraire, ils peuvent être retirés de la plateforme. B. Rogers[5] décrit comment le système de notation impose aux fournisseurs d’être toujours amicaux et souriants. En plus de leur travail physique, on attend d’eux qu’ils accomplissent un certain « travail relationnel ». Les chauffeurs de taxi traditionnel sont libres de s’asseoir derrière leur volant avec un visage grincheux, alors que pour les chauffeurs d’Uber, cela pourrait signifier la perte de leur source de revenus.

Discrimination et exclusion injuste

Les systèmes automatisés comportent un risque de jugements erronés. Plusieurs études mettent en garde contre l’exclusion et la discrimination injustifiées des systèmes automatisés comme l’étude de J.Podesta, P.Pritzker, E.Moniz, J.Holdren et J.Zients[6]. Le profilage place les personnes dans certaines catégories, dont chacune est traitée différemment. Du point de vue du service, cela peut être pratique et personnalisé. Mais si cela entraîne un désavantage structurel pour certains (groupes d’) individus, c’est problématique. Il est apparu que les femmes à la recherche d’un emploi se voyaient moins souvent proposer des annonces pour des postes supérieurs que les hommes avec un profil similaire[7] par la recherche Google. Même si aucune donnée sur la race ou la religion n’est utilisée, d’autres variables fortement corrélées peuvent encore entraîner une discrimination[8].

Un profil défini par ses antécédents comportementaux peut influer sur ses options pour l’avenir. Cela peut conduire à une prophétie autoréalisatrice. Ainsi, on peut en déduire qu’une personne ayant une bonne cote de crédit a plus de facilité à obtenir un prêt et à travailler sur son avenir financier. De la même façon, une personne, qui présente un risque plus élevé, doit respecter des conditions plus strictes, car elle est susceptible d’avoir des problèmes de remboursement[9]. L’autorité néerlandaise de protection des données met en garde contre la « prédestination digitale »[10]. Le danger est que les personnes ne puissent plus « échapper » au profil digital établi à leur sujet. Lorsque des méthodes de profilage et d’évaluation des risques sont également déployées dans le domaine de la sécurité, par exemple pour traquer des fraudeurs ou des criminels potentiels, la présomption d’innocence est mise sous pression. Alors que les données ne sont normalement collectées qu’en cas de suspicion, les datas importantes permettent d’anticiper la détection des profils à risque avant qu’il n’y ait une suspicion réelle.

Extrait de l’ouvrage : « La Transformation Digitale des entreprises : Principes, exemples, Mise en œuvre, impact social », Edition Maxima, Océane Mignot, Février 2019.

Ce billet est un article invité. Il a été rédigé par Océane Mignot sur le blog de Bertrand Jouvenot.

[1] M.Sutrop, K.Laas-Mikko, “From identity verification to behavior prediction: Ethical implications of second generation biometrics”, 2012, Review of Policy Research, 29(1), 21–36.

[2] M.Tzanou, “Fundamental right to data protection: Normative value in the context of counter-terrorism surveillance.”, 2017, Oxford : Hart.

[3] T.Scholz, “Platform cooperativism. Challenging the corporate sharing economy.”, 2016, New York: Rosa Luxemburg Stiftung.

[4] B. Rogers, » The social costs of Uber.”, 2015, The University of Chicago Law Review Dialogue, 82, 85–102.

[5] B. Rogers, » The social costs of Uber.”, 2015, The University of Chicago Law Review Dialogue, 82, 85–102.

[6] J.Podesta, P.Pritzker, E.Moniz, J.Holdren, J.Zients, “Big Data: Seizing opportunities, preserving values”, 2014, Washington : Executive Office of the President.

[7] A.Datta, M.C.Tschantz, A. Datta, « Automated experiments on ad privacy settings. A tale of opacity, choice, and discrimination.”, 2015, Proceedings on Privacy Enhancing Technologies (PoPETs 2015) (p. 92–112).  https://doi.org/10.1515/popets-2015-0007.

[8] M. Hildebrandt, “Law as information in the era of data-driven agency.”, 2016, The Modern Law Review, 79(1), 1–30.

[9] D.K.Citron, F.Pasquale, “The scored society: Due process for automated predictions.”, 2014, Washington Law Review, 89, 1. https://ssrn.com/abstract=2376209

[10] http://www.autoriteitpersoonsgegevens.nl/nl/nieuws/cbp-meer-privacywaarborgen-noodzakelijk-bij-toepassingen-big-data.

Summary
Article Name
La Transformation Digitale : Les questions éthiques en termes de Justice
Description
Dans le domaine de la justice, la digitalisation de notre société nous amène à nous questionner sur différentes problématiques. Je vous propose d’en traiter quelque un qui m’interroge.
Author