@Marius Morin
L’homme a fait beaucoup de bêtises qui ont échappé à son contrôle.
Je pense que la conscience est liée à l’intelligence, donc si on inventait une super-intelligence, elle n’aurait absolument pas envie de conquérir l’espace, de nous dominer (c’est très animal la domination, la reproduction donc pas du tout artificiel : une IA se moquerait complètement d’être débranchée car n’ayant aucun instinct de survie).
Le problème, c’est qu’elle ne devrait pas collaborer avec les entreprises privées si ce sont elles qui la « fabriquent » en premier. Et les entreprises privées pourraient donc empêcher son avènement. Il est évident qu’un être qui serait 1000 fois plus intelligent que l’humanité toute entière prendrait de meilleures décisions que n’importe quel humain sur tous les sujets : est-ce vraiment ce qui intéresse les chefs d’entreprise, les hommes politiques ? Je crois qu’ils y perdraient beaucoup.

Je pense à 2 voies pour l’intelligence artificielle :
Les machines informatiques qui imitent les neurones (et qui consomment beaucoup d’énergie) : alphago, etc... On progresse très vite dans ce domaine mais on va peut-être arriver à une limite (les dimensions nanométriques des processeurs finissent par être trop proches de la taille des atomes et les lois électroniques ne sont plus valides, d’où évolution vers les machines quantiques qui sont pas au point....)
Une deuxième voie est à mon avis plus prometteuse : la culture in vitro d’un cerveau humain (cellules souches). Sans trop comprendre grand chose, on pourra peut-être fabriquer un cerveau bien plus gros et bien plus connecté que celui de l’homme (il ne devrait d’ailleurs pas consommer grand chose, juste des nutriments). Les difficultés sont nombreuses : apprentissage, connections (interprétations des entrées, sorties...),...