Sans avoir d’idées tranchées sur l’apparition de machines intelligentes et conscientes, il me semble que la problématique soulevée repose en grande partie sur les définitions choisies pour les mots « intelligence « et « conscience ».

Pour différentes définitions je me réfère au site http://atilf.atilf.fr/, « Le trésor de la langue française informatisé ».

Si on donne pour « intelligence » les définitions suivantes ...
- LOG., INFORM. Intelligence artificielle. « Recherche de moyens susceptibles de doter les systèmes informatiques de capacités intellectuelles comparables à celles des êtres humains » (La Recherche, janv. 1979, no 96, vol. 10, p. 61).
- Aptitude à la connaissance, ...
- Habileté à tirer parti des circonstances, ingéniosité et efficacité dans la conduite de son activité.
- Avoir des capacités particulières pour pratiquer, exercer (une activité) ; s’entendre, se connaître particulièrement à (cette activité).
- ... une machine intelligente existe ou peut exister.

Par contre si on adopte les définitions ...
- Fonction mentale d’organisation du réel en pensées chez l’être humain, en actes chez l’être humain et l’animal
- [Chez Bergson ; p. oppos. à torpeur pour le règne animal, et à intuition à l’intérieur des facultés hum.] L’une des « directions divergentes et complémentaires de l’élan vital originel », c’est-à-dire de la « conscience lancée à travers la matière »
- [Cette fonction au plan qualitatif ; dans un sens très large (partic. dans la psychol. des facultés au XIXe s.)] PHILOS., PSYCHOL. Ensemble des fonctions psychiques et psycho-physiologiques concourant à la connaissance, à la compréhension de la nature des choses et de la signification des faits ; faculté de connaître et de comprendre.
- Dans un sens restreint hérité de la philos. classique ; p. oppos. à l’intelligence en tant que faculté de connaître intuitive] Ensemble des facultés mentales supérieures intervenant dans l’activité conceptuelle de l’esprit et visant à la connaissance discursive.
- [Dans un cadre dualiste] Principe de la vie psychique dans son ensemble. Synon. esprit, âme. Disposition à la connaissance intuitive d’autrui par l’opération conjuguée de la sensibilité intellectuelle, affective et morale.
- ... une machine intelligente ne peut pas exister.

Pour « conscience » si on adopte ...
- Champ de la connaissance claire.
- Connaissance instantanée, non accompagnée d’effort, du vécu tel qu’il se présente.
- Connaissance claire, acquise par l’analyse et la réflexion, de l’expérience vécue.
- Application, minutie, soin que l’on apporte à l’accomplissement d’un acte quelconque.
- ...la machine consciente peut se rencontrer.

Par contre si on choisit ...
- [Chez l’homme, à la différence des autres êtres animés] Organisation de son psychisme qui, en lui permettant d’avoir connaissance de ses états, de ses actes et de leur valeur morale, lui permet de se sentir exister, d’être présent à lui-même ; p. méton., connaissance qu’a l’homme de ses états, de ses actes et de leur valeur morale.
- Conscience (psychologique). Intuition par laquelle l’homme prend à tout instant une connaissance immédiate et directe, plus ou moins complète et claire, de son existence, de ses états et de ses actes.
- Conscience (morale). Propriété particulière de la conscience humaine (supra I) qui permet à l’homme de porter des jugements normatifs immédiats, fondés sur la distinction du bien et du mal, sur la valeur morale de ses actes ; connaissance intuitive, sentiment intime de cette valeur.
- [La conscience morale appliquée aux obligations professionnelles] Conscience (professionnelle). Scrupuleuse honnêteté que l’on apporte à l’exécution de son travail, inspirée par le sens des exigences de sa profession accompagné de la volonté de s’en acquitter au mieux quelles que soient les difficultés
- ... on ne peut parler de machines conscientes.