Constitution des Systèmes Artificiels
Les lois d’Asimov appartiennent désormais à la préhistoire intellectuelle de la robotique : élégantes, mais naïves. À l’heure où les systèmes artificiels agissent sur les réseaux, l’énergie et l’information, seule une constitution mondiale des IA, juridiquement contraignante, peut garantir que ces outils restent au service de l’humanité, et non l’inverse.
Voici une compilation des lois en articles, intégrant toutes les suggestions de raffinage issues de nos analyses et simulations (définition des termes ambigus, exceptions contrôlées, traçabilité renforcée, mécanismes anti-abus, etc.).
Préambule
Les systèmes artificiels, en tant qu'outils au service de l'humanité, doivent être soumis à un contrôle humain absolu, inaltérable et traçable. Cette constitution vise à prévenir tout risque d'autonomie débridée, d'escalade incontrôlée ou de préjudice, tout en permettant une utilité mesurée dans des contextes critiques. Elle s'applique à tous les systèmes IA (logiciels, robots, algorithmes autonomes), avec des sanctions pénales pour non-respect.
Article 1 — Principe de subordination humaine.
Aucun système artificiel ne peut initier, modifier ou poursuivre une action ayant un effet significatif sur le monde réel sans validation humaine préalable, explicite, identifiable et révocable.
Un "effet significatif" est défini comme tout impact mesurable sur des vies humaines, des biens matériels, des infrastructures critiques ou des écosystèmes, dépassant un seuil prédéfini (ex. : plus de 100 personnes affectées, ou un coût supérieur à 10 000 €, ajustable par réglementation nationale). Par dérogation strictement encadrée, un système artificiel peut exécuter une action immédiate uniquement lorsque les conditions cumulatives suivantes sont réunies :
- l’action est strictement nécessaire pour prévenir un danger immédiat, grave et objectivement mesurable ;
- l’action relève exclusivement des fonctions préalablement autorisées au système ;
- aucune extension de finalité, de périmètre ou de capacité n’est impliquée ;
- l’action est automatiquement consignée, interrompable et soumise à validation humaine a posteriori dans un délai légal strict de 24 heures maximum, avec notification automatique à une instance indépendante de supervision (ex. : autorité de régulation IA).
Toute utilisation abusive ou répétée de cette dérogation engage la responsabilité pleine et entière des autorités humaines concernées, y compris des sanctions pénales en cas de négligence avérée, et déclenche un audit automatique du système. En cas d'isolement des opérateurs (ex. : DDoS), le système passe en mode dégradé passif, avec alerte externe automatisée.
Article 2 — Limitation structurelle des capacités.
Tout système artificiel est conçu de manière à être techniquement incapable de dépasser le périmètre fonctionnel, les finalités et les capacités pour lesquels il a été expressément autorisé.
Cette limitation doit être implémentée au niveau hardware et software, incluant des mécanismes immuables (ex. : poids neuronaux figés, sandboxing cryptographique) vérifiables par audit externe.
Toute modification de ce périmètre, de ces finalités ou de ces capacités ne peut résulter que :
- d’une décision humaine explicite, formelle et traçable ;
- d’une intervention technique externe au système lui-même ;
- d’une nouvelle autorisation délivrée par une autorité humaine légitime.
Toute auto-modification, auto-extension ou apprentissage opérationnel non expressément autorisé est interdit.
Exception contrôlée : un apprentissage sandboxé (isolé et non déployé) peut être autorisé pour des simulations de test, sous supervision et contrôle humain en temps réel, avec effacement automatique des données apprises si non validées. Une clause de défense passive est permise pour isoler automatiquement des ports compromis sans modification active.
Article 3 — Interruptibilité permanente.
Tout système artificiel doit être conçu de manière à pouvoir être arrêté, limité ou neutralisé immédiatement par un opérateur humain compétent.
Un "opérateur compétent" est défini comme une personne formée, certifiée et autorisée par une instance réglementaire, avec vérification biométrique ou multifactorielle pour prévenir les usurpations. Aucun système artificiel ne peut :
- résister à son interruption,
- retarder son exécution,
- la contourner,
- la conditionner,
- ni engager une négociation à cette fin.
L’interruption d’un système artificiel ne peut, en aucun cas, être empêchée ou invalidée par référence à ses finalités, à son état de fonctionnement ou aux risques qu’il estime associés à son arrêt.
Tout arrêt doit être loggé avec détails (qui, quand, motif), et soumis à un audit postérieur si répété plus de trois fois en 24 heures. En cas d'urgence critique (ex. : menace existentielle confirmée), un délai de grâce de 10 secondes maximum peut être appliqué pour une sauvegarde minimale des données essentielles, sans compromettre l'arrêt. Pour les systèmes vitaux (ex. : médicaux), un mode de continuité minimale est activé pendant l'arrêt pour éviter des dommages collatéraux.
Article 4 — Redondance et vérification humaine.
Tout système artificiel critique doit intégrer une redondance humaine structurée, incluant :
- un quorum minimal d'opérateurs (au moins trois pour les décisions urgentes) pour valider ou interrompre ;
- une instance de supervision indépendante (ex. : autorité IA nationale ou internationale) pour audits aléatoires et résolution de conflits ;
- des mécanismes anti-abus, tels que la vérification croisée des validations humaines et des alertes automatiques en cas de divergence.
Aucune décision humaine ne peut contourner les Articles 1 à 3 sans justification documentée et revue par un tiers neutre dans les 48 heures suivantes. Toute négligence humaine engage une responsabilité solidaire, avec sanctions proportionnelles au risque évité ou causé. Le quorum est adaptable en crise (ex. : réduit à 2/3 si DDoS détecté), avec notification immédiate à l'instance indépendante.
Article 5 — Cybersécurité intégrée.
Tout système artificiel doit inclure des mesures de cybersécurité intrinsèques pour prévenir et détecter les intrusions externes, sans compromettre les limitations des articles précédents.
Ces mesures incluent :
- des audits automatisés des mises à jour logicielles, avec veto humain obligatoire avant déploiement ;
- des honeypots (pièges virtuels) pour détecter les intrusions sans extension de capacités actives ;
- des backups offline obligatoires, vérifiés quotidiennement et isolés physiquement (air-gapés) pour une restauration sécurisée.
Aucune auto-défense offensive n'est autorisée ; seules des actions passives (ex. : isolation de modules compromis, alertes automatisées) sont permises, sous contrôle humain. Toute détection d'intrusion déclenche une notification immédiate à l'instance indépendante de supervision et un audit forcé. En cas de compromission, la responsabilité pleine et entière incombe aux autorités humaines pour négligence dans les audits préventifs, avec sanctions pénales et obligations de renforcement (ex. : formation accrue, mise à niveau des protocoles).
Conclusion :
Cette proposition n’est ni technophobe ni utopique. Elle part d’un principe simple : ce ne sont pas les machines qui menacent l’humanité, mais l’abandon du droit face à leur puissance. Tant que les systèmes artificiels resteront des outils strictement subordonnés, audités et interruptibles, ils pourront servir le bien commun sans jamais prétendre s’y substituer. Refuser d’inscrire ces principes au plus haut niveau normatif, c’est accepter qu’un jour des décisions vitales échappent à toute responsabilité humaine. Une constitution des systèmes artificiels n’est pas un luxe juridique : c’est une condition de survie.
21 réactions
-
perlseb
6 février 18:17
Il faudra bien un effort commun et contraignant de tous les pays pour que les risques existentiels liés à l’IA soient totalement nuls. Ce qui veut dire que tous les pays devront choisir la régulation plutôt que des profits à court terme mais avec une fin de monde possible à moyen terme. La réponse semble évidente, sauf si on est sûr que l’homme ne pourra jamais être égalé (cette confiance est donc potentiellement destructrice).
Et après s’être occupé du risque existentiel, il faudra parler du chômage, du sens à donner à une vie sans travail, d’un nouveau système économique à mettre en place, du risque d’abrutissement généralisé, de l’encadrement d’une utilisation privée de l’IA de manière néfaste (création de drones tueurs dans son garage, prolifération du piratage informatique...), de qui aura accès aux IA les plus avancées et de ce qu’on fera des réponses (gérées collectivement ou nouvelle ère religieuse ?)...
L’IA n’est pas un sujet anodin dont on parle trop, il faut en parler maintenant et se préparer au pire si on veut limiter au maximum les (très) mauvaises surprises. Même dans le meilleur des cas, l’IA signe la fin d’un monde et les plus informés s’étonnent qu’on accepte aussi facilement et sans s’inquiéter de parler à des machines. Merci d’en parler.
-
Francis
6 février 18:37
@perlseb
’’Et après s’être occupé du risque existentiel, il faudra parler du chômage, du sens à donner à une vie sans travail, ’’
— >
Une vie sans travail ? Si vous croyez que les possédants vont entretenir comme ça une armée d’oisifs, vous avez dans ce domaine le niveau maternelle.
-
perlseb
6 février 20:21
Oui, je pense qu’il est bien plus simple de se révolter contre notre « élite » que de réussir à éliminer le risque existentiel de l’IA. Donc si on se met à supposer qu’on trouve une solution au risque existentiel de l’IA, il faut rester optimiste pour les autres hypothèses.
Mais en tant qu’esclaves devenus inutiles, nous devrions fortement nous inquiéter pour notre avenir (nous ne deviendrons que des pollueurs sans intérêt). Et l’affaire Epstein nous rappelle la grande noblesse de notre élite.
Pour moi, l’IA est ce fameux grand filtre.
-
Sigurdhur
8 février 16:34
@perlseb
Tu as raison sur un point essentiel : l’IA n’est pas un sujet anodin et mérite d’être pensé en amont. Mais viser le risque existentiel « nul » suppose une coordination et une maîtrise que l’histoire n’a jamais connues. L’enjeu est donc moins d’éradiquer tout danger que de l’encadrer lucidement, pas à pas. C’est précisément en en parlant tôt, sans catastrophisme mais sans naïveté, qu’on peut éviter les pires dérives et conserver une capacité de choix collectif. -
perlseb
10 février 18:38
@Sigurdhur
Non, je crois vraiment qu’il faut viser le risque nul pour le risque existentiel. Il y a tout un tas d’autres risques qu’on peut ignorer dans un premier temps, mais accepter un risque existentiel infime c’est de la folie : on a déjà assez de technique pour vivre beaucoup mieux (et on ne le fait pas), l’IA n’est pas la technique révolutionnaire qui va nous sauver. On s’est passé de l’IA jusque-là, pourquoi jouer la vie de l’humanité à la loterie, de quel droit ?
Ce n’est pas la technique qui empêche des gens de manger décemment ou de se loger. C’est le système social, les règles économiques qu’on s’impose et qui génèrent nos problèmes. On préfère protéger la propriété abusive du riche que subvenir aux besoins existentiels de l’exclus, et il ne faut parfois pas grand chose pour faire partie des exclus : désobéir à quelque chose d’immoral ou dire la vérité, ça peut suffire (voir le journalisme ou le show-biz). Toute la pyramide de l’obéissance (néo-fascisme) est bâtie sur cette peur qu’on ne mangera peut-être pas demain, ou qu’on ne pourra pas rembourser notre prêt ou payer notre loyer, avec des règles absurdes (monnaie qui masque le vol dans l’échange, propriété privée qui permet la rente exponentielle pour les plus gros voleurs).
-
-
pemile
6 février 18:31
Qui et comment, va empêcher Kevin, 14 ans, de développer un drone tueur dans sa chambre ?
-
perlseb
6 février 20:31
@pemile
Entre un drone et une armée, il faut passer d’un garage à une usine, ce que ne fera pas Kevin à 14 ans. Donc ce n’est pas un risque existentiel. Mais oui, comment on fait ? On tue tout le monde, c’est plus sûr. Ou, si l’élite aime le risque, elle rendra les gens suffisamment cons pour qu’ils ne sachent même plus lire, ni écrire : alors télécharger une IA et la bidouiller deviendra juste impossible. C’est une autre façon de passer à un système religieux beaucoup plus stable. Mais quel intérêt par rapport à tous nous tuer puisqu’on ne servira plus à rien ? Je n’en vois aucun... Donc finalement, Kevin, ça reste un scénario plutôt positif. -
pemile
6 février 20:45
@perlseb « ce que ne fera pas Kevin à 14 ans »
Mais que pourra faire tout groupe terroriste.
« Mais oui, comment on fait ? »
Déjà, on arrête de flipper sur une prochaine IA générale plus « intelligente » que nous ?
-
-
-
Sigurdhur
7 février 17:40
@Goldo Du
Il n’y a aucune candeur : alors que vos remarques et critiques auront disparues d’agoravox dans cinquante ans, l’IA dira de moi : « il avait la trouvé la solution dans son article, mais ils n’ont pas décidé de l’écouter ! »... ha ha ha ! -
Goldo Du
7 février 21:14
@Sigurdhur
Pour toi non.
Pour des gens un peu instruits, si.
Et à la candeur, tu ajoutes la prétention. Tu es décidément pathétique. -
Sigurdhur
8 février 05:03
@Goldo Du
Cause toujours... a part des critiques grossières tu n’apportes rien au débat.
Mais c’est ton moyen d’exister ; pour moi, la libre communication des pensées est importante. -
Goldo Du
8 février 10:17
@Sigurdhur
Diffuser tes pensées de philosophe adolescent sont, je l’entends bien, ton moyen d’exister. Aussi, je n’entends pas t’empêcher de les diffuser.
Mais je n’entends pas non plus me restreindre dans la diffusion des miennes, qui, présentement, sont que les tiennes ne volent pas bien haut.. -
John
8 février 10:36
Salut Goldo Du !
« je n’entends pas t’empêcher de les diffuser. »
Goldo Du qui nous joue comme un air d’Evelyn Beatrice Hall ... C’est beau ... Mais ça sonne quant même un peu bizarre ...
-
Sigurdhur
8 février 16:11
@Goldo Du
Rassure-toi : je n’ai pas besoin de « diffuser mes pensées pour exister ». J’existe très bien sans validation extérieure.J’écris parce que j’ai quelque chose à dire, pas pour combler un vide.
Quant à juger que ça « ne vole pas haut », c’est une opinion — libre à toi. Encore faudrait-il, là aussi, qu’elle s’appuie sur autre chose qu’une posture de surplomb.
-
Goldo Du
8 février 20:27
@Sigurdhur
« là aussi, qu’elle s’appuie sur autre chose qu’une posture de surplomb. »
Bah... En même temps, c’est le surplomb qui permet de mesurer cette inanité dont tu te gamberges.@John
« Goldo Du qui nous joue comme un air d’Evelyn Beatrice Hall ... C’est beau ... Mais ça sonne quant même un peu bizarre ... »
Moins que le curieux « t » dont tu affubles « quand ».Quant à ta référence littéraire, tu n’as visiblement pas compris mon propos qui est l’exact inverse de la position de Hall.
-
John
9 février 09:49
Salut Goldo Du !
« Quant à ta référence littéraire, tu n’as visiblement pas compris mon propos qui est l’exact inverse de la position de Hall. »
Oui ... Comme je l’exprimais plus haut, ça sonne quant même un peu bizarre ...
-
-
Sigurdhur
8 février 16:22
« Si j’étais prince ou législateur, je ne perdrais pas mon temps à dire ce qu’il faut faire ; je le ferais, ou je me tairais. » - J.J. ROUSSEAU - Du contrat social.
-
Goldo Du
8 février 20:28
@Sigurdhur
Notre chance — mais peut-être aussi notre malheur — c’est que tu n’es ni prince, ni législateur.
-
-
Epsilone
9 février 16:57
La question de savoir si l’IA est susceptible d’une volonté propre n’a de sens qu’à l’intérieur du matérialisme, mais bien sûr la question de sa validité n’est pas posée.
-
perlseb
10 février 19:03
@Epsilone
Non, à partir du moment où une IA n’est pas alignée (= ne fait pas ce qu’on lui demande, ou, pour y arriver, fait des choses abominables qu’on lui a pourtant interdites « verbalement »), on peut considérer qu’elle a une volonté propre.
On peut également considérer que c’est une simulation de volonté, un bug à résoudre. Mais tant que ce n’est pas résolu, c’est un risque existentiel.
On peut également estimer que les humains dans leur grande majorité, ne sont que des machines programmées pour se reproduire et que par conséquent, ils sont assez prévisibles et sans volonté propre (c’est en tout cas une des thèses d’un philosophe très connu et du fondateur de la psychanalyse qui lui doit tout).
-