Les ordinateurs ne comprennent rien
Un ordinateur, c'est à dire une machine à calculer universelle, ne peut pas comprendre, il ne peut pas manier des significations, ni faire émerger une conscience. Ce n'est pas un problème de niveau technologique. Aucun progrès technologique ne pourra changer quoi que ce soit à cela. La signification n'est pas un ensemble de règles d'association de signes. John Searle l'a démontré extrêmement simplement grâce à une expérience de pensée nommée "Expérience de la Chambre Chinoise". J'aimerais ici la résumer rapidement, et simplement.
L'expérience de la Chambre Chinoise est une expérience de pensée, qui va vous faire comprendre intuitivement le travail d'un ordinateur, qui se contente d'associer des 0 et des 1 selon des règles déterminées.
Imaginez que l'on vous place dans une pièce sombre, devant un bureau, avec une petite lampe, des feuilles de papiers, un crayon, et un catalogue de règles en français. Ces règles sont du type : « si vous lisez telle suite de caractères chinois, alors, derrière, répondez telle suite de caractères chinois ». Par exemple, si vous lisez la suite : "Ching Chang Chong", répondez "Chang Choung Chen". Bien entendu, vous ne parlez pas un mot de chinois, et vous ne savez pas ce que cela veut dire. (les chinois me pardonneront ces exemples à la 4chan)
La pièce est fermée par une porte avec une boite à lettre. Derrière la porte, se situe un chinois, à qui on demande d’écrire sur des feuilles de papier des phrases en chinois du type : « salut, comment ça va ? » (qui en chinois à la 4chan se dit : « ching chang chong »). Il glisse ensuite la feuille de papier dans la boite au lettre.
Vous allez chercher la lettre dans la boite au lettre, vous l’ouvrez : c’est écrit en chinois, vous ne comprennez rien. Vous prenez donc le catalogue de règles qui vous indique : « à la phrase "ching chang chong", répondez la phrase "chang choung chen" ». Cela veut dire « je vais bien et toi ? », mais vous n’en savez rien. Vous ne comprenez ni ce qui est écrit sur la feuille, ni ce que vous écrivez en réponse. Vous avez juste appliqué les règles d’association de signes.
Vous prenez la feuille de papier où vous avez écrit « chang choung chen » (« je vais bien et toi ? »), vous la glissez dans la boite au lettre. le chinois la consulte et se dit : « super ! derrière la porte, il y a quelqu’un qui parle chinois ! » Pourtant, vous ne comprennez rien au chinois, vous avez juste appliqué des règles d’association de signes dépourvus de signification pour vous.
Un ordinateur ne fait que cela, et strictement rien d'autre. Il associe des 0 et de 1 qui pour lui sont dépourvu de signification, en fonction de règles écrites par les programmeurs. A aucun moment donné, ce processus ne permet de créer de la signification. Vous n'apprendrez JAMAIS à parler Chinois en appliquant la méthode décrite ci-dessus. De la même manière, jamais un ordinateur ne comprendra le Chinois ou une quelquonque langue humaine, même si il peut en donner l'illusion.
L'ordinateur n'a donc pas accès à des significations, qui sont le produit d'une activité neuronale. De même, l'ordinateur ne voit pas de couleur, il reçoit des suites de 0 et de 1 en provenance de capteurs de lumières et applique des règles d'association. Il n'entend pas plus des sons, il reçoit des suites de 0 et de 1 en provenance de capteurs de sons auxquelles il applique des règles d'association. De manière générale, tout ce qui compose votre vécu subjectif, les significations, les sons, les odeurs, les sensations, les couleurs, les sentiments, ce qu'on nomme en général le "vécu conscient" échappe totalement à l'ordinateur. Lui ne fait qu'appliquer des règles sur des suites de 0 et de 1 dépourvu de signification. Or, quand vous comprenez la signification d'un mot, que vous voyez une couleur, ou sentez une odeur, vous ne faites pas qu'appliquer bêtement des régles d'associations comme dans la chambre chinoise. Vous avez une activité BIOLOGIQUE, NEURONALE, extrêmement complexe, qui produit ce vécu conscient. La simulation informatique d'un pis de vache ne permet pas de créer du vrai lait. De la même manière, la simulation des processus cognitif ne permet pas de créer de la conscience.
PS : Nous ne sommes pas sûr que ce soit le cerveau qui produise le vécu conscient, et jamais aucune description du cerveau ne permettra de le prouver. C'est une autre expérience de pensée, qui se nomme : "What is it like to be a bat ?", de Thomas Nagel... Mais c'est une autre histoire.
119 réactions
-
COVADONGA722
20 décembre 2014 23:15
: l’auteur ne serait-il pas lui-même une forme archaïque d’I.A. qui essaie de se dissimuler en tentant de faire croire à l’impossibilité théorique de sa propre existence ?
yep , jeu , set et match ! -
Hervé Hum
21 décembre 2014 01:53
La définition de la conscience est le sens de l’action en conséquence de la connaissance.
Si vous pouvez montrer qu’un ordinateur peut comprendre, développer le sens de son action, alors vous avez montré qu’il est doué de conscience, car vous aurez montré qu’il est doté du libre arbitre. Mais alors vous aurez un ordinateur capable de revendiquer des conditions de travail, de pouvoir, d’obéissance et pire encore, de ne pas travailler et faire des erreurs !!! Dans ce cas là, voudrez vous toujours d’un tel ordinateur ou robot ?
cela veut simplement dire qu’il y a un point de singularité où même si vous en avez les moyens, vous renoncez à les mettre en oeuvres uniquement parce que c’est contraire à votre propre intérêt, contraire à la raison d’être du travail affecté à l’outil.
si on s’en tient au comportement des personnes avec leur voiture ou devant leur télé à regarder un film, on peut voir la plupart des humains donner déjà des qualités humaines aux objets. Qu’ils éprouvent des sentiments et ont des relations sentimentales avec eux, sensuelles voir même sexuelles. Mais que la condition reste... L’absolu obéissance. Vous pouvez chérir votre voiture, mais si celle ci tombe en panne à chaque fois, vous finirez vite par la maudire et vous en débarrasser.
le problème, c’est que de l’objet-sujet au sujet-objet, il n’y a qu’un pas, franchit depuis que l’humain maitrise l’outil. et l’humain est ainsi devenu objet pour d’autres humains, mais un objet imparfait car conscient, c’est à dire s’interrogeant sur le sens de son action. Obligeant à une course poursuite contre pour toujours avoir un temps d’avance sur cette conscience.
Alors, pourquoi donner la conscience à des robots quand c’est exactement ce qu’on souhaite éliminer depuis toujours chez les humains outils, autrement appelés... Prolétaires !
-
lsga
21 décembre 2014 09:38
j’utilisais le mot conscience dans un sens très pauvre : l’ensemble du vécu subjectif. Par exemple : le fait de comprendre des significations, de voir des couleurs, d’entendre des sons, de ressentir des sensations, etc...
Un point de singularité ? Franchement : vous pouvez rester aussi longtemps que vous voulez dans la chambre chinoise, avec des règles aussi complexe que vous voulez : vous ne comprendrez JAMAIS le chinois. Il n’y a pas une singularité magique qui à un moment donné fait que par miracle vous allez comprendre le chinois. -
Hervé Hum
21 décembre 2014 10:40
Bonjour lsga,
Il me faudra à la fin écrire un article rien que pour expliquer cette définition de la conscience qui est bien plus subtile qu’elle n’y paraît. Celle ci postule notamment que la conscience est autant dans la matière que dans les êtres vivants, mais pas dans un ordinateur ou un robot, parce qu’il y a changement de degré et de relation causale.
D’autant qu’elle ne contredit en rien ce que tu écris !
Quant au point de singularité, il faut le lire comme une démonstration par l’absurde, celle qui veut que même en faisant l’hypothèse où l’ordinateur ou le robot deviennent « conscient », cette conscience ne saurait être totale (libre arbitre) et dépasser le cadre d’évolution (de travail) qui lui est affecté.
Tout cela demande des développements, mais bon, le cadre ici présent est plutôt réduit !
-
-
Samson
21 décembre 2014 02:40
La Machine de Turing est certes dénuée de « conscience autonome », mais elle n’en reste pas moins capable de processi décisionnels complexes, associant à une foule croissante de paramètres des suites de plus en plus étendues d’algorithmes.
Ce qui, sans même envisager les aspects éthiques soulevés - notamment en robotique militaire ou médicale - par la programmation de performances décisionnelles attribuées de manière autonome à la machine, soumet toujours plus nos destins à l’épée de Damoclès d’une perte de contrôle systémique du fait d’un bug, d’une erreur ou d’une malveillance logicielle fatidique. Il suffit pour s’en convaincre de constater l’ampleur des effets de la perte momentanée de contrôle sur les réacteurs nucléaires de Fukushima.
Du Golem au Frankenstein de Mary Shelley ou au « HAL 9000 » de Stanley Kubrick dans « 2001, Odyssée de l’Espace », le mythe nous met avec constance en garde contre le danger que constitue pour son créateur la perte de contrôle et l’émancipation de sa créature.
PS : Une large part de l’oeuvre visionnaire de Philippe K. Dick aborde sous différents angles, et parfois en parallèle avec celle de la schizophrénie, la question de la « conscience » étendue aux machines et robots.
-
Vipère
21 décembre 2014 09:45
Les éléments qui peuvent s’émanciper de la coupe de son programmateur sont effectivement la radioactiactivité nucléaire, mais aussi les virus dangereux des laboratoires. -
lsga
21 décembre 2014 09:48
certes, les ordinateurs peuvent bugguer, et nous sommes dépendant des ordinateurs. Un scénario type bug de l’an 2000 est possible, et n’a rien à voir avec le scénario fascitoïde à la Terminator. Appeler à la prudence, à la modération ; c’est différent que d’appeler à la peur et à la haine.
-
-
Deneb
21 décembre 2014 05:53
Bonjour Isga
Merci pour cette mise au point. Le plus idiot, c’est de souhater une machine capable d’emotions, voire d’empathie. Imaginez une voiture ou une machine à laver qui a des êtats d’âme. Genre : pas envie de démarrer aujourd’hui...
Parce que les émotions et les êtats d’âme sont des composantes indissociables de la conscience. Je ne crois donc pas à un ordinateur conscient qui élimine l’Humain par caprice. En revanche, un humain qui programme un ordinateur pour éliminer l’Humanité, c’est assez probable, vu l’essor récent des religions eschatologiques.-
lsga
21 décembre 2014 09:56
Y en a qui se lève tôt le dimanche matin...
Rien de conscient ne pourra être créé avec une machine de Turing. Certes, peut-être qu’on pourrait greffer de la chaire de synthèse ou des neurones sur un circuit, mais vu qu’on ne sait pas comment la chair ou les neurones génèrent le vécu subjectif, on ne serait pas sûr du résultat.
Pour la capacité des êtres humains à utiliser des ordinateurs pour s’entre-tuer : c’est tout à fait vrai. C’est encore un scénario appelant à la prudence et à la raison ; rien à voir avec le scénario fascistoïde à la Terminator faisant appel à la peur et à la haine du progrès.
Enfin, vous vous en doutez, le vrai problème est donc : à qui appartiennent les machines ? qui décide comment on les fabrique et les distribue ? qui décide à quoi elles servent ?
SI la réponse est : la bourgeoisie ; alors elles serviront à faire la guerre
Si la réponse est : la population mondiale ; alors serviront à faire tout et n’importe quoi (surtout n’importe quoi dans un premier temps...)
-
-
Vipère
21 décembre 2014 10:20
« Maintenant sortez un enfant actuel (le dernier cri en la matière) et plongez-le au coeur du paléolithique, que sera son intelligence et sa culture comparée à une existence durant ce siècle disons dans ce pays ? »
Les ouvrages herculéens et l’ingégnosité sous l’Egypte ancienne interroge encore à ce jour l’homme contemporain !L’homme moderne plongé dans la préhistoire aurait les mêmes capacités à développer des stratégies de survie que son lointain ancêtre, c’est le propre de l’intelligence inter-active que de réagir spontanément à des événements nouveaux sur la base de l’expérience, de l’apprentissage et ou tout simplement de l’intuition , pour solutionner des problèmes et ou s’adapter à des situations présentant des données différentes.-
alinea
21 décembre 2014 13:14
Psychologiquement, c’est complétement faux !
Mettez Sarkozy quasi nu, sans un rond dans un pays étranger où il n’est personne, sans possibilité de communiquer avec les siens, ... il crève !!
La plupart des gens sont, ou pensent être quelqu’un, parce qu’ils sont entourés, protégés par leur groupe ; sinon, au mieux, une énorme difficulté à survivre ! -
Qaspard Delanuit
22 décembre 2014 12:21
« Il ne reste donc « plus qu’à » décrire ces facultés généralistes de manière fonctionnelle pour pouvoir les mécaniser. »
Non car leur caractère essentiel est précisément de n’être pas mécanique.
-
-
Vipère
21 décembre 2014 11:45
A vos ordres, mon général, vous avez les plans et les données informatiques pour conceptualiser un homme-machine ?
-
-
TicTac
22 décembre 2014 10:43
Si je peux me permettre, la question n’est pas tant de savoir si l’ordinateur peut ou va devenir intelligent ou non, mais de savoir que le vrai danger est que, persuadés de s’être dotés d’un complément d’intelligence, des cerveaux guerriers ou cupides (ce sont souvent les mêmes, d’ailleurs) prendront des décisions dommageables.
-
TicTac
22 décembre 2014 12:13
Salut Tall,
On connaît la réponse : les US.Ils ont remplacé l’intelligence (entendre le renseignement) par les ordinateurs, les écoutes aidées d’algorithmes et autres fadaises leur permettant d’envisager la menace avec plus de précision.Et la menace est (ratatatata) : l’islam !Ce faisant, ils ont créé un monstre qui est, lui, à l’opposé de l’ordinateur : la violence aveugle, barbare, d’un autre temps.Pire, par leur bêtise, ces chantres de l’intelligence artificielle attisent tant la haine sur leurs exactions qu’ils réussissent l’exploit d’attirer à leurs ennemis la sympathie des indécis.Tu parles d’une intelligence... -
confiture
22 décembre 2014 19:14
C’est le plus pire vous voulez dire, dans votre reflexion plus haut vous dites qu’il vaudrait mieux que cela tombe dans une démocratie.... mauvaise pioche, try again camarade tall
-
-
Alren
22 décembre 2014 18:23
Il faut toujours se méfier des affirmations du genre : « xxx ne pourra jamais faire, réaliser, réussir ceci ou cela » ! L’histoire nous donne beaucoup d’exemples de prédictions « d’impossibilités » qui ont été réfutées par le progrès des techniques.Au XIXe siècle, des « experts » autoproclamés avaient prouvé qu’un bateau en fer ne pourrait pas flotter, puis des « savants » avaient démontré que jamais une machine plus lourde que l’air ne pourrait voler. Lors de la première démonstration du phonographe, un individu serra la gorge du démonstrateur pensant avoir affaire à une supercherie avec ventriloque ! La possibilité de la transmission instantanée à distance dans l’air et sans fil de message a paru relever de l’utopie voire de l’escroquerie quand Marconi prétendit obtenir des résultats ... Au début du XXe, l’idée d’un satellite artificiel relevait pour les gens « de bon sens » de l’utopie flagrante : jamais on ne pourrait atteindre la lune hormis au cinéma de Méliès !Ces exemples pris parmi d’autres ( le cinéma, le radar, l’éclairage électrique, le microscope par effet tunnel etc. furent aussi considérés comme « improbables ») devraient rendre prudents pourtant les « prophètes » des technologies futures.Avant de parler de ce que les ordinateurs peuvent réussir dans la manipulation de concepts énoncés sous forme de mots, car c’est de cela qu’il s’agit ici, il faudrait analyser ce que c’est que « comprendre » une phrase pour un être humain et quels préalables cela suppose de connaître.Parmi les « pré-requis », il y a évidemment la connaissance de la langue dans laquelle la phrase est formulée. Comprendre une langue demande d’avoir une connaissance, même intuitive, de sa grammaire. L’analphabète sait manipuler les flexions du verbe dans une phrase pour traduire la notion de temps ou de mode. Pour qu’un ordinateur puisse manipuler un concept, il faut aussi qu’il identifie les fonctions et les formants de la phrase.Ce peut-être là une source de difficulté du fait de l’ambiguïté des langues naturelles telles, entre autres, que l’anglais ou le français dans lesquelles on rencontre des formes qui sont ici un verbe, là un nom, ailleurs un adjectif ; sans compter les homographes !Nous les différencions par le contexte. Pour que l’ordinateur en fasse de même, il faut qu’il soit capable de caractériser par un code spécifique le domaine où porte le texte dont est extrait la phrase ambiguë.C’est vrai que c’est une grande difficulté, c’est même la plus grande.L’exemple qui fait rire est la traduction du « Cher monsieur » qui commence une lettre française, par « Expansive sir » (« Coûteux monsieur ») en anglais. Il faut dans cet exemple-ci programmer dans la machine les particularités des lettres (postales !) et leurs formules consacrées selon la langue et la culture de chaque pays.Les mots du vocabulaire doivent renvoyer à d’autres où même à des expressions pour faire sens, un peu à l’image du cerveau où les neurones sont liés par l’axone et les dendrites à des milliers d’autres.Cela suppose que l’ordinateur dispose d’une mémoire colossale. C’est le cas de nos jours.Cela suppose aussi un encore plus gigantesque travail de programmation. C’est-à-dire un coût colossal dans un contexte d’opposition violente de certaines personnes ou groupes de pression craignant la domination de l’homme par sa machine. Ainsi le brillant Stephen Hawking, qui envisage même la suppression de l’homme par le « robot pensant » (et non le « roseau pensant » cher à Blaise Pascal !), le grand savant oubliant que ce sont les sentiments et les pulsions qu’ils suscitent qui sont responsables des désirs de meurtres. Or les machines programmées par l’homme n’auront pas de sentiments et ne seront pas concurrentes de lui.Pour simplifier la programmation, il suffira de supprimer les ambiguïtés en créant une langue artificielle, telle l’espéranto, mais en mieux, sans homographes et dotée d’une structure grammaticale mettant en évidence les fonctions dans la phrase.Le travail ainsi effectué par l’ordinateur ne différera en rien de celui de notre cerveau quand nous « comprenons » ce qu’on nous dit ou quand nous formulons des phrases. Objecter qu’un ordinateur ne puisse pas mener une conversation intéressante avec un être humain par exemple parce qu’il n’est pas « vivant », c’est commettre la même erreur que les « savants » du XIXe siècle qui pensaient qu’on ne pourrait jamais synthétiser une substance produite par notre corps parce que cette molécule ne contiendrait pas le « principe vital ». La synthèse de l’urée les fit taire ...Dans un domaine où le nombre de règles est plus faible, comme les jeux de stratégie, dames, échecs, go et même poker, l’ordinateur domine déjà les champions de la catégorie.Comme exemple d’un effet bénéfique d’ordinateur capable de manipuler les concepts, il y a celui de l’analyse des millions de pages consacrées à la médecine et non confrontées les unes aux autres faut de capacité humaine : comme le font les méta-études humaines, cela aboutira inévitablement à des découvertes et des progrès sensationnels pour le plus grand biens des humains. -
Ruut
26 décembre 2014 06:10
Isga un ordinateur c’est juste un outil, comme un marteau.
Heureusement qu’il ne comprend rien.
Sinon il devrait être traité comme un être vivant avec des droits et nous ne pourrions plus l’utiliser comme nous le désirons.Lorsque les informaticiens parlent d’IA, ils parlent de scripts qui simulent les mécanismes de la pensée mais sans la rendre réelle.
