La philosophie traditionnelle, notamment à travers des penseurs comme Aristote, Descartes, Kant ou Hegel, a souvent conçu l'intelligence comme une faculté humaine, liée à la raison, la conscience de soi et la capacité à comprendre le monde à travers des abstractions, des concepts, et des jugements. Cette intelligence est intrinsèquement liée à l'esprit humain, à l'expérience subjective, à la perception, à l'émotion et à la réflexion métaphysique. Elle est souvent considérée comme ayant une dimension ontologique, qui implique une forme de liberté, d'autonomie et d'intentionnalité. L'intelligence humaine est associée à des qualités comme la créativité, la pensée critique, la réflexion morale, et la capacité d'interroger le sens de l'existence.

L'IA, en revanche, désigne un ensemble de systèmes informatiques créés par l'être humain et pour l'être humain, avec une orientation principale, accomplir des tâches qui sont normalement associées à l'intelligence humaine (résolution de problèmes, reconnaissance de formes, apprentissage, etc.), on peut alors parler sans trop se fourvoyer, d' "intelligence augmentée" mais non guère d'intelligence au sens philosophique du terme, qui entraîne subjectivité et conscience. L'IA repose sur des algorithmes, des modèles mathématiques et des bases de données d'information. Elle ne "comprend" pas au sens philosophique du terme, mais exécute des calculs qui peuvent simuler une certaine forme d'intelligence dans des contextes spécifiques. L'intelligence humaine est indissociable de la capacité physique à être conscient de soi, de ses pensées, de ses émotions et de son environnement, de son existence charnelle. Il y a un aspect réflexif et une intentionnalité dans la pensée humaine : la capacité de se représenter le monde et d'agir de manière significative, en lien avec des valeurs, des désirs et des buts personnels. Un modèle d'IA répondra à une question sur la philosophie sans comprendre ce qu'il dit, simplement en générant des réponses basées sur des modèles linguistiques préexistants et la base de connaissance générée par l'être humain, en l'état, abstraite de l'expérience du monde, mais sans expérience de ce monde.

Avec le temps, notre scène médiatique et ses spectateurs ont perdu de vue un certain Alan Turing (1912-1954) qui, dans "Computing Machinery and Intelligence" (1950), abordait déjà la question de la possibilité qu'une machine puisse penser. Le "Test de Turing" consistait à vérifier si une machine pouvait imiter une conversation humaine de manière à ce qu'un interlocuteur ne puisse pas distinguer si la réponse provenait d'un humain ou d'une machine. L'IA nous donne une "intelligence observable" mais qui n'adresse qu'une bien faible part de ce que nous appelons communément "l'esprit humain"...

Pourtant, au travers de nos auteurs, et des commentateurs de la vaste scène médiatique qui nourrit en informations diverses, et sans filtre, cette intelligence artificielle s'impose comme une "intelligence" à part entière, une intelligence à qui l'on prête des attributs humains, de l'autonomie à la transcendance. Les réflexions de nos philosophiques classiques n'intéressent plus guère tant elles nous semblent sans grand intérêt immédiat : et ce d'autant que ces même réflexions, abandonnées en l'état depuis des siècles, sont recyclées sans la moindre hésitation dans ce nouveau référentiel de l'intelligence et de la rationalité que l'on construit à l'ombre des technologies qui structurent désormais nos existences. 

L'être humain, en ce début du XXIe, est sans doute un orphelin de la culture, penser n'offre guère plus d'intérêt, et toute question requiert réponse immédiate, en temps réel, la position critique viendra peut-être plus tard. C'est dans ce contexte, qu'effectivement s'impose progressivement l'expérience d'une" intelligence augmentée", intelligence pratique qui n'implique pas une compréhension profonde ou originale de notre monde, et créativité limitée, mais suffisamment ludique, qui réinterprète le monde à défaut de l'inventer ...

"The Singularity is Near: When Humans Transcend Biology" (2005, Ray Kurzweil)

C'est dans ce livre que Ray Kurzweil défend l'idée centrale que nous sommes sur le point de vivre un événement technologique révolutionnaire qu'il appelle la « singularité », une "singularité technologique", le moment où les progrès technologiques, en particulier dans les domaines de l'intelligence artificielle, de la biotechnologie et des nanotechnologies, vont évoluer à un rythme si rapide et exponentiel qu'ils dépasseront la compréhension humaine et auront des effets imprévisibles sur la société et l'humanité elle-même. La thèse principale de Kurzweil est que l'intelligence artificielle finira par égaler puis dépasser l'intelligence humaine, entraînant une fusion de l'humain et de la machine. Cela ouvrira des perspectives radicales pour la médecine, la longévité, et même la conscience. Il affirme que cette singularité se produira aux alentours de 2045, selon les tendances exponentielles actuelles des avancées technologiques. 

Kurzweil base sa thèse sur l'idée de progrès exponentiels : les technologies ne se développent pas de manière linéaire, mais suivent plutôt des courbes exponentielles, ce qui signifie qu'à mesure que les innovations se produisent, elles accélèrent encore davantage le rythme des avancées futures. Cette vision présente un avenir où l'humanité pourra potentiellement se libérer des limitations biologiques et même atteindre un état de "superintelligence" en symbiose avec des machines ..

"I am not sure when I first became aware of the Singularity. I’d have to say it was a progressive awakening. In the almost half century that I’ve immersed myself in computer and related technologies, I’ve sought to understand the meaning and purpose of the continual upheaval that I have witnessed at many levels. Gradually, I’ve become aware of a transforming event looming in the first half of the twenty-first century. Just as a black hole in space dramatically alters the patterns of matter and energy accelerating toward its event horizon, this impending Singularity in our future is increasingly transforming every institution and aspect of human life, from sexuality to spirituality.

What, then, is the Singularity? It’s a future period during which the pace of technological change will be so rapid, its impact so deep, that human life will be irreversibly transformed. Although neither utopian nor dystopian, this epoch will transform the concepts that we rely on to give meaning to our lives, from our business models to the cycle of human life, including death itself. Understanding the Singularity will alter our perspective on the significance of our past and the ramifications for our future. To truly understand it inherently changes one’s view of life in general and one’s own particular life. I regard someone who understands the Singularity and who has reflected on its implications for his or her own life as a “singularitarian.”

« Je ne sais pas exactement quand j'ai pris conscience de la singularité. Je dirais qu'il s'agit d'une prise de conscience progressive. Depuis près d'un demi-siècle que je suis plongé dans l'informatique et les technologies connexes, j'ai cherché à comprendre le sens et l'objectif des bouleversements continus dont j'ai été témoin à de nombreux niveaux. Peu à peu, j'ai pris conscience qu'un événement transformateur se profilait à l'horizon de la première moitié du XXIe siècle. Tout comme un trou noir dans l'espace modifie radicalement les modèles de matière et d'énergie qui s'accélèrent vers son horizon, cette singularité imminente dans notre avenir transforme de plus en plus toutes les institutions et tous les aspects de la vie humaine, de la sexualité à la spiritualité.

Qu'est-ce que la singularité ? Il s'agit d'une période future au cours de laquelle le rythme du changement technologique sera si rapide, son impact si profond, que la vie humaine en sera irrémédiablement transformée. Sans être ni utopique ni dystopique, cette époque transformera les concepts sur lesquels nous nous appuyons pour donner un sens à notre vie, de nos modèles commerciaux au cycle de la vie humaine, y compris la mort elle-même. Comprendre la singularité modifiera notre perspective sur l'importance de notre passé et les ramifications de notre avenir. La comprendre vraiment change intrinsèquement notre vision de la vie en général et de notre propre vie en particulier. Je considère que quelqu'un qui comprend la singularité et qui a réfléchi à ses implications pour sa propre vie est un « singularitaire ».

I can understand why many observers do not readily embrace the obvious implications of what I have called the law of accelerating returns (the inherent acceleration of the rate of evolution, with technological evolution as a continuation of biological evolution). After all, it took me forty years to be able to see what was right in front of me, and I still cannot say that I am entirely comfortable with all of its consequences. The key idea underlying the impending Singularity is that the pace of change of our human-created technology is accelerating and its powers are expanding at an exponential pace. Exponential growth is deceptive. It starts out almost imperceptibly and then explodes with unexpected fury— unexpected, that is, if one does not take care to follow its trajectory..."

Je peux comprendre que de nombreux observateurs n'acceptent pas d'emblée les implications évidentes de ce que j'ai appelé la loi des rendements accélérés (l'accélération inhérente du rythme de l'évolution, l'évolution technologique étant le prolongement de l'évolution biologique). Après tout, il m'a fallu quarante ans pour être capable de voir ce que j'avais sous les yeux, et je ne peux toujours pas dire que je suis entièrement à l'aise avec toutes ses conséquences. L'idée clé qui sous-tend l'imminence de la singularité est que le rythme de changement de notre technologie créée par l'homme s'accélère et que ses pouvoirs se développent à un rythme exponentiel. La croissance exponentielle est trompeuse. Elle commence de manière presque imperceptible, puis explose avec une fureur inattendue - inattendue, si l'on ne prend pas soin de suivre sa trajectoire ..."

Mais qu'est-ce que l' "intelligence" selon Ray Kurzweil ? Sa conception de l'intelligence est déjà en elle-même "singulière" et éclaire l'orientation de son approche. L'intelligence, pour Ray Kurzweil, n'est pas un attribut exclusif de l'être humain, mais plutôt une propriété émergente de systèmes capables de traiter l'information, de résoudre des problèmes et de s'adapter. Que ce soit pour l'intelligence biologique, l'intelligence artificielle ou l'intelligence collective, Kurzweil soutient que l'intelligence se manifeste par la capacité d'un système à évoluer, à apprendre et à améliorer ses capacités. Cette évolution, selon lui, est exponentielle, et l'intelligence artificielle, une fois qu'elle surpassera l'intelligence humaine, sera capable de s'améliorer de manière autonome, ce qui entraînera des changements radicaux dans la société, la culture et la condition humaine, conduisant à la singularité. Ainsi, l'intelligence chez Kurzweil est une dynamique de complexité, d'adaptation, et d'auto-amélioration qui se manifeste d'abord chez l'humain, nous dit-il, puis chez les machines, et qui, à terme, pourrait aboutir à une intelligence collective transcendante qui dépasserait largement les limites de l'intelligence humaine actuelle ... 

Certes, la vision de l'intelligence et de la singularité technologique que propose Kurzweil est fascinante, mais on a pu lui opposer nombre de critiques. Les principaux reproches concernent son optimisme technologique excessif et l'inquiétude à l'idée que des machines, dites superintelligentes, puissent imiter ou surpasser l’intelligence humaine de manière pleine et entière ;  et ce sans tenir compte sérieusement des risques sociaux, éthiques et politiques que pourrait entraîner la montée des technologies d’intelligence artificielle, des problématiques liées à la conscience et aux valeurs humaines. Mais là n'est sans doute pas l'essentiel, le débat s'est engagé dès la naissance de l'IA, les arguments n'ont guère évolués, et les réponses toujours aussi équivoques ...

C'est sa conception même de l'intelligence qui pose un problème fondamental ... 

Un des points de critique majeurs est en effet que Kurzweil ne considère pas que l'intelligence artificielle (IA) et l'intelligence humaine soient fondamentalement différentes, mais plutôt que l'IA est une forme d'intelligence complémentaire, voire, à terme, supérieure.

C'est que Kurzweil définit l'intelligence, essentiellement comme un traitement de l'information, la réduisant à la capacité de traiter, analyser et réagir à l'information. Avec une admiration sans borne pour la capacité de l'IA à surpasser sa version humaine en termes de rapidité, de volume d'information traité et d'auto-amélioration : la caractéristique essentielle de l'intelligence, selon Kurzweil, est sa capacité à s'auto-améliorer. Une fois qu'elle a atteint un certain seuil de complexité, elle pourra développer des capacités cognitives comparables, voire supérieures à celles des humains, qui, il est vrai, n'ont guère foncièrement évolué depuis la nuit des temps. C'est cette capacité à évoluer et à s'ajuster en fonction des données nouvelles qui constitue, selon lui, l'essence de l'intelligence. Il cite l'exemple des systèmes biologiques (comme le cerveau humain) et des systèmes informatiques (comme les IA) qui peuvent tous deux apprendre et s'améliorer. 

Pour Kurzweil, l'intelligence est intimement liée à la complexité. Les concepts de "complexité" et de "créativité" ont connu une médiatisation sans limite. Aussi ne peut-on s'étonner de les voir intégrer le pannel illustratif de l'IA...

à mesure que la complexité d'un système augmente, sa capacité à résoudre des problèmes et à s'adapter devient plus raffinée. Il défend l'idée que les systèmes plus complexes sont capables de traiter des informations de manière plus subtile et plus précise, ce qui leur permet de gérer des situations de plus en plus complexes.

Autre idée fondamentale de la conception de l'intelligence chez Kurzweil est qu'elle évolue de manière exponentielle. Cela s’applique à la fois à l'intelligence biologique (l’évolution de l’intelligence au cours de l’histoire de l’humanité) et à l'intelligence artificielle. Il soutient que la capacité d'un système intelligent à résoudre des problèmes, à apprendre et à s'auto-améliorer augmente de façon exponentielle, ce qui, selon lui, va conduire à une singularité technologique où les machines dépasseront l'intelligence humaine.

L'intelligence implique donc aussi une capacité à être créatif et à générer de nouvelles idées ou solutions face à des problèmes complexes. On peut en effet citer bien des exemples de créativité, comme l'émergence de nouvelles idées en science et en technologie, pour illustrer le fait que l'intelligence humaine (et potentiellement artificielle) n'est pas simplement réactive mais créative, capable de générer des solutions inédites. Les systèmes d'IA, selon Kurzweil, seront appelés à développer une forme de créativité  propre qui se manifestera dans la résolution de problèmes d'une manière que les humains ne peuvent pas anticiper.

Enfin, deux autres concepts viennent enrichir la stratégie médiatique de l'intelligence artificielle, la notion d'intelligence collective et celle de conscience. Pour Kurzweil, l’intelligence pourrait, dans un futur proche, évoluer collectivement : le voici envisageant une ère où les intelligences humaines, artificielles et machines pourraient interagir et se fusionner, créant une forme d'intelligence partagée ou collective, où l'ensemble des savoirs et des capacités humaines et machines seraient intégrés. Ce processus, qu’il appelle la "convergence", pourrait potentiellement mener à une forme d'intelligence "transcendantale", non seulement supérieure à l'intelligence humaine mais aussi diffuse à l’échelle globale, voire cosmique.

Enfin, bien que Kurzweil reconnaisse que la conscience humaine est un phénomène complexe et encore mal compris, il soutient que la conscience est le produit d’un niveau de complexité et d’auto-organisation des systèmes intelligents. Dans ce sens, une machine extrêmement avancée, dotée de suffisamment de complexité et d'auto-amélioration, pourrait elle aussi développer une forme de conscience, bien que différente de celle des humains. Pour Kurzweil, la conscience n’est pas nécessairement liée à un substrat biologique, et la singularité pourrait ainsi marquer le début de formes de conscience nouvelles, issues de l’IA.

Plusieurs critiques ont estimé que cette définition est trop réductrice et qu'elle ignore des dimensions cruciales de l'intelligence humaine ...

John Searle, "The Rediscovery of the Mind" (1992)

Searle a exprimé de vives critiques vis-à-vis de la vision réductionniste de l'intelligence, comme celle de Kurzweil. Searle soutient que l'intelligence ne peut pas simplement être réduite à des mécanismes de traitement de l'information, car il existe une dimension subjective de la conscience et de l’expérience, qu’il appelle qualia. Il argumente que même si une machine peut simuler des comportements intelligents, cela ne signifie pas qu’elle possède une véritable conscience ou une intelligence comparable à celle des humains. Le célèbre argument de Searle contre l'IA forte, de la chambre chinoise, illustre ce point : même si une machine peut sembler comprendre un langage (en traitant des symboles de manière appropriée), elle ne comprend pas vraiment ce qu'elle fait.

 Hubert Dreyfus, "What Computers Can't Do: The Limits of Artificial Intelligence" (1972) et "On the Internet" (2001)

Dreyfus critique l'idée que l'intelligence humaine puisse être entièrement modélisée ou reproduite par des machines. Il soutient que l'intelligence humaine est fondamentalement liée à une expérience incarnée, à l’interaction avec le monde et à des compétences pratiques qui ne peuvent pas être entièrement reproduites par des machines. Et que de nombreux aspects de la cognition humaine, comme le jugement, l'intuition et la compréhension contextuelle, échappent à la logique algorithmique...

Sherry Turkle, "Alone Together: Why We Expect More from Technology and Less from Each Other" (2011)

Sherry Turkle, professeur au MIT, critique la vision optimiste de Kurzweil en soulignant les effets déshumanisants de la dépendance croissante à la technologie. Selon Turkle, la fusion de l'homme et de la machine, comme le prédit Kurzweil, pourrait engendrer des problèmes psychologiques et sociaux, en altérant la manière dont les individus interagissent entre eux et avec leur propre humanité : et soulève ainsi des questions éthiques sur la manière dont ces technologies pourraient modifier la nature humaine et les relations interpersonnelles ...

Jaron Lanier, "You Are Not a Gadget: A Manifesto" (2010)

Pionnier de la réalité virtuelle, Lanier est également critique de la vision technologique de Kurzweil. Il dénonce l'impact déshumanisant des technologies numériques, notamment de l'IA, sur la société et l'individu, et la réduction de l'humain à un simple produit ou à une "machine biologique".  Rejetant l'idée que la fusion de l'homme et de la machine puisse être bénéfique pour l'humanité dans son ensemble, il pense tout au contraire que cette "singularité technologique" peut conduire à l'aliénation et à la concentration des pouvoirs économiques et sociaux entre les mains de quelques technocrates. Dans "Who Owns the Future?" (2013), il soutiendra l’idée que la montée de l'intelligence artificielle et des systèmes automatisés pourrait détruire des millions de postes de travail, entraînant des bouleversements économiques majeurs, sans pour autant garantir que les bénéfices de ces technologies soient distribués équitablement. 

Roger Penrose, "The Emperor's New Mind: Concerning Computers, Minds, and the Laws of Physics" (1989)

Physicien théoricien et mathématicien Roger Penrose a longuement argumenté que la conscience humaine est fondamentalement liée à des processus physiques non algorithmiques, qui ne peuvent pas être reproduits par des machines, indépendamment de leur puissance computationnelle. Selon lui, même si les ordinateurs peuvent simuler des comportements intelligents, ils ne peuvent pas éprouver la subjectivité de l’expérience ou être véritablement conscients. Il introduira des concepts issus de la physique quantique pour expliquer ce qui, selon lui, distingue l'intelligence humaine de l'IA.

Evgeny Morozov, "To Save Everything, Click Here: The Folly of Technological Solutionism (2013)

Penseur et écrivain critique de la technologie, Morozov, a souligné que la vision de Kurzweil ignore les dynamiques sociales de pouvoir et d'inégalité qui risquent d'accompagner l'essor des technologies de l'IA et de la nanotechnologie. Il met en garde contre le risque que ces technologies ne profitent qu’à une petite élite, aggravant ainsi les inégalités économiques et sociales et créant des discriminations technologiques. Dans ce contexte, la "singularité technologique", une approche qu'il qualifie de "solutionnisme technologique", pourrait non pas mener à un âge d’or de prospérité pour tous, mais à une concentration accrue de pouvoir et de richesse.

David Chalmers, "The Conscious Mind: In Search of a Fundamental Theory" (1996)

Chalmers est un philosophe de l'esprit qui se concentre sur la nature de la conscience. Il introduit la distinction entre les "faciles problèmes" (par exemple, comment un système réagit à des stimuli) et les "difficiles problèmes" (par exemple, pourquoi et comment un système a une expérience consciente).Chalmers remet en question la possibilité de reproduire la conscience humaine dans une machine. Il critique l'idée selon laquelle une IA pourrait non seulement simuler l'intelligence humaine, mais aussi être consciente d'elle-même, soulignant que la conscience est un phénomène bien plus complexe que ce que Kurzweil envisage.

Thomas Metzinger, "The Ego Tunnel: The Science of the Mind and the Myth of the Self" (2009) - Metzinger soutient une théorie de la conscience selon laquelle l'ego, ou le soi, est une illusion construite par le cerveau. Il examine la nature de l'expérience subjective et la possibilité de reproduire la conscience artificielle. Pour Metzinger, la conscience humaine est un processus complexe fondé sur des phénomènes neuronaux spécifiques et cette conscience ne peut être simplement copiée ou transférée à des machines. Il critique donc l'idée que des systèmes artificiels puissent atteindre une conscience comparable à celle des humains, une position contraire à celle de Kurzweil.

La "singularité technologique" est donc, selon Kurzweil ("The Singularity is Near"), la conséquence naturelle de cette évolution, où les machines deviennent plus intelligentes que les humains, et où la fusion de l’intelligence humaine avec la machine marque le passage à une ère nouvelle :  l’intelligence ne connaîtra plus de limites...

 Le premier chapitre ("The Six Epochs") nous décrit cette "singularité" comme non seulement inévitable, mais suite logique d'un processus exponentiel d’évolution de l'intelligence dans l'univers. Ces "Six Époques" sont successivement ...

- l'Époque de la Physique et de la Chimie (L'ère de la matière inanimée, l’émergence de la matière et des lois physiques et chimiques de l'univers), 

- l'Époque de la Biologie (L'ère de la vie biologique, l’apparition de la vie sur Terre, il y a environ 3,5 milliards d'années et la naissance de l'intelligence biologique), 

- l'Époque de l'Intelligence des Machines (L'ère de l’intelligence artificielle, le futur proche qui débute avec des systèmes informatiques capables de résoudre des problèmes complexes et de prendre des décisions autonomes), 

- l'Époque de la Fusion de l'Homme et de la Machine ("Achieving the Software of Human Intelligence: How to Reverse Engineer the Human Brain", l'ère de l'augmentation humaine, l'intégration des technologies dans le corps humain, une frontière entre l’humain et la machine qui devient floue, la fusion homme-machine marque l’émergence d'une nouvelle forme de conscience et d'intelligence où les caractéristiques humaines sont prolongées et enrichies par la technologie), 

Chapter 5 - "GNR - Three Overlapping Revolutions"

The first half of the twenty-first century will be characterized by three overlapping revolutions—in Genetics, Nanotechnology, and Robotics. These will usher in what I referred to earlier as Epoch Five, the beginning of the Singularity. We are in the early stages of the “G” revolution today. By understanding the information processes underlying life, we are starting to learn to reprogram our biology to achieve the virtual elimination of disease, dramatic expansion of human potential, and radical life extension. Hans Moravec points out, however, that no matter how successfully we fine-tune our DNA-based biology, humans will remain “second-class robots,” meaning that biology will never be able to match what we will be able to engineer once we fully understand biology’s principles of operation.

The “N” revolution will enable us to redesign and rebuild—molecule by molecule—our bodies and brains and the world with which we interact, going far beyond the limitations of biology. The most powerful impending revolution is “R”: human-level robots with their intelligence derived from our own but redesigned to far exceed human capabilities. R represents the most significant transformation, because intelligence is the most powerful “force” in the universe. Intelligence, if sufficiently advanced, is, well, smart enough to anticipate and overcome any obstacles that stand in its path. 

La première moitié du XXIe siècle sera caractérisée par trois révolutions qui se chevauchent : la génétique, la nanotechnologie et la robotique. Elles inaugureront ce que j'ai appelé précédemment l'époque cinq, le début de la singularité. Nous en sommes aujourd'hui aux premiers stades de la révolution « G ». En comprenant les processus d'information qui sous-tendent la vie, nous commençons à apprendre à reprogrammer notre biologie pour parvenir à la quasi-élimination des maladies, à l'expansion spectaculaire du potentiel humain et à l'allongement radical de la durée de vie. Hans Moravec souligne toutefois que, quel que soit le succès avec lequel nous affinons notre biologie basée sur l'ADN, les humains resteront des « robots de seconde classe », ce qui signifie que la biologie ne sera jamais en mesure d'égaler ce que nous pourrons concevoir une fois que nous aurons pleinement compris les principes de fonctionnement de la biologie.

La révolution « N » nous permettra de redessiner et de reconstruire - molécule par molécule - nos corps et nos cerveaux, ainsi que le monde avec lequel nous interagissons, en dépassant de loin les limites de la biologie. La révolution imminente la plus puissante est la révolution « R » : des robots de niveau humain dont l'intelligence est dérivée de la nôtre mais repensée pour dépasser de loin les capacités humaines. R représente la transformation la plus importante, car l'intelligence est la « force » la plus puissante de l'univers. L'intelligence, si elle est suffisamment avancée, est assez intelligente pour anticiper et surmonter tous les obstacles qui se dressent sur son chemin.

While each revolution will solve the problems from earlier transformations, it will also introduce new perils. G will overcome the age-old difficulties of disease and aging but establish the potential for new bioengineered viral threats. Once N is fully developed we will be able to apply it to protect ourselves from all biological hazards, but it will create the possibility of its own self-replicating dangers, which will be far more powerful than anything biological. We can protect ourselves from these hazards with fully developed R, but what will protect us from pathological intelligence that exceeds our own? I do have a strategy for dealing with these issues, which I discuss at the end of chapter 8. In this chapter, however, we will examine how the Singularity will unfold through these three overlapping revolutions: G, N, and R...."

Si chaque révolution résoudra les problèmes posés par les transformations antérieures, elle introduira également de nouveaux dangers. G surmontera les difficultés séculaires de la maladie et du vieillissement, mais créera le potentiel de nouvelles menaces virales issues de la bio-ingénierie. Lorsque N sera pleinement développé, nous pourrons l'appliquer pour nous protéger contre tous les risques biologiques, mais il créera la possibilité de ses propres dangers autoreproducteurs, qui seront bien plus puissants que tout ce qui est biologique. Nous pouvons nous protéger de ces dangers avec une R pleinement développée, mais qu'est-ce qui nous protégera d'une intelligence pathologique qui dépasse la nôtre ? J'ai une stratégie pour traiter ces questions, que j'aborde à la fin du chapitre 8. Dans ce chapitre, cependant, nous examinerons comment la singularité se déroulera à travers ces trois révolutions qui se chevauchent : G, N et R...."

- l'Époque de la Superintelligence ("Achieving the Computational Capacity of the Human Brain", les machines surpassent l’intelligence humaine de manière significative et autonome, un tournant décisif dans l’évolution de la conscience et de la cognition), 

- enfin la fameuse époque de la Fusion Universelle (L'ère de l'intelligence transcendante, l’intelligence n'est plus confinée aux humains ni aux machines, mais se diffusera dans l’ensemble de l’univers. À ce stade, la conscience humaine pourrait s'étendre au-delà des limitations physiques et biologiques, y compris l’idée de télécharger l’esprit humain dans des réseaux de données). C'est la grandiose convergence de toutes les technologies et l'expansion de la conscience dans des formes infiniment complexes : c'est aussi réanimer en terme d'argumentaire un panthéisme profondément enfoui dans notre histoire intellectuelle ...

Still Human? Some observers refer to the post-Singularity period as “posthuman” and refer to the anticipation of this period as posthumanism. However, to me being human means being part of a civilization that seeks to extend its boundaries. We are already reaching beyond our biology by rapidly gaining the tools to reprogram and augment it. If we regard a human modified with technology as no longer human, where would we draw the defining line? Is a human with a bionic heart still human? How about someone with a neurological implant? What about two neurological implants? How about someone with ten nanobots in his brain? How about 500 million nanobots? Should we establish a boundary at 650 million nanobots: under that, you’re still human and over that, you’re posthuman? Our merger with our technology has aspects of a slippery slope, but one that slides up toward greater promise, not down into Nietzsche’s abyss. Some observers refer to this merger as creating a new “species.” But the whole idea of a species is a biological concept, and what we are doing is transcending biology. The transformation underlying the Singularity is not just another in a long line of steps in biological evolution. We are upending biologicalevolution altogether..."

"Encore humain ? Certains observateurs qualifient la période post-Singularité de « post-humaine » et l'anticipation de cette période de « posthumanisme ». Cependant, pour moi, être humain signifie faire partie d'une civilisation qui cherche à repousser ses limites. Nous dépassons déjà notre biologie en acquérant rapidement les outils nécessaires pour la reprogrammer et l'augmenter. Si nous considérons qu'un être humain modifié par la technologie n'est plus humain, où tracerons-nous la ligne de démarcation ? Un être humain doté d'un cœur bionique est-il encore humain ? Qu'en est-il d'une personne dotée d'un implant neurologique ? Qu'en est-il de deux implants neurologiques ? Qu'en est-il d'une personne ayant dix nanorobots dans le cerveau ? Qu'en est-il de 500 millions de nanorobots ? Devrions-nous fixer une limite à 650 millions de nanobots : en deçà, vous êtes encore humain et au-delà, vous êtes posthumain ? Notre fusion avec notre technologie a des aspects d'une pente glissante, mais une pente qui s'élève vers de plus grandes promesses, et non vers l'abîme de Nietzsche. Certains observateurs parlent de cette fusion comme de la création d'une nouvelle « espèce ». Mais l'idée même d'espèce est un concept biologique, et ce que nous faisons transcende la biologie. La transformation qui sous-tend la singularité n'est pas une étape de plus dans une longue série d'étapes de l'évolution biologique. Nous sommes en train de bouleverser l'évolution biologique dans son ensemble..."

"The Age of Spiritual Machines: When Computers Exceed Human Intelligence" (Ray Kurzweil, 1998)

Dès 1998, Ray Kurzweil propose une vision du futur où l'intelligence artificielle, propulsée par la loi des rendements accélérés (selon laquelle la puissance de calcul des ordinateurs double à intervalles réguliers (environ tous les deux ans), ce qui permet d’imaginer un futur où les machines deviennent extrêmement puissantes en très peu de temps) et autres technologies émergentes, surpasserait l’intelligence humaine dans tous les domaines, entraînant une révolution qui transformera à la fois la société, la condition humaine et la nature de la conscience. Il imaginait un futur où la fusion de l'homme et de la machine permettrait aux humains d'augmenter leurs capacités cognitives et physiques, tout en résolvant les grands défis de l'humanité, comme la maladie, la pauvreté et même la mort, par l’intermédiaire de technologies comme l’intelligence artificielle, les nanotechnologies, et les biotechnologies.

L’idée centrale était que la technologie progressait à un rythme exponentiel, et que les ordinateurs allaient non seulement atteindre le niveau de l’intelligence humaine, mais aussi le surpasser de manière exponentielle. Cela incluait non seulement l’intelligence logique, mais aussi des dimensions plus complexes comme la conscience, les émotions, et la créativité. Kurzweil présentait alors sa thèse de la "singularité technologique", époque où les machines surpasseraient l’intelligence humaine et située  aux alentours de 2045 ...

Kurzweil soutient que, contrairement à la vision dystopique souvent associée à l’IA, l'ascension des machines intelligentes serait bénéfique pour l’humanité et il imagine un futur dans lequel les humains fusionneront avec les machines, grâce à des implants cérébraux, des interfaces neurales et des prothèses augmentées. Cette fusion permettra non seulement d’améliorer les capacités cognitives humaines, mais aussi de prolonger la vie humaine. Kurzweil ne pouvait échapper au discours relatif à l' "âge spirituel" des machines, des machines qui ne se contenteraient pas d'imiter l'intelligence humaine, mais auraient une forme de conscience et d'expérience subjective : c'est l'inéluctable orientation d'une machine reproduisant les processus neuronaux et cognitifs humains ... Enfin, Kurzweil suggère que, dans l'avenir, la numérisation de la conscience humaine pourrait permettre une forme d’immortalité ...

"Fantastic Voyage : Live Long Enough to Live Forever" (Ray Kurzweil, 2004)

En 2004, Ray Kurzweil et Terry Grossman rencontrent un succès notable avec "Fantastic Voyage", non pas tant pour ses avancées radicales en matière de science, que pour l’attention qu’il a suscitée dans le contexte plus large des débats sur la longévité et l'immortalité grâce aux avancées technologiques. Les arguments fondés sur les progrès en biotechnologie, nanotechnologie, et médecine régénérative ne manquent pas, il est vrai, une forme d’immortalité biologique semble pourvoir être atteinte avant même l’avènement de la fameuse "singularité". Avec l'aide de Terry Grossman, médecin spécialisé en médecine régénérative et en longévité, l'autorité scientifique cède à une approche essentiellement pragmatique et fondée sur les pratiques contemporaines : les suggestions inclueront des régimes alimentaires spécifiques, des compléments alimentaires, des médicaments, des exercices physiques, et des technologies médicales qui favorisent la régénération des cellules et ralentissent le vieillissement, le tout en se basant sur des recherches en biotechnologie et en génétique pour expliquer comment la médecine moderne pourrait permettre de contrôler le vieillissement cellulaire et les maladies liées à l'âge, en rendant la possibilité d'une vie prolongée plus plausible pour un large public. "Les auteurs entraînent le lecteur dans un voyage vers une vitalité insoupçonnée..."

Fort de leurs succès, Ray Kurzweil et Terry Grossman réitèrent leur récit dans "Transcend: Nine Steps to Living Well Forever" (2009) : un guide pratique pour améliorer la santé, ralentir le vieillissement, et vivre plus longtemps en bonne forme, avec l’espoir que la longévité extrême et la réversibilité du vieillissement deviendront possibles grâce aux avancées technologiques ...

"How to Create a Mind: The Secret of Human Thought Revealed" (Ray Kurzweil, 2012)

Ray Kurzweil propose en 2012 un ouvrage ambitieux dans lequel il entend nous livrer sa conception de la nature de l'esprit humain et la manière dont il pourrait être reproduit, ou même amélioré, par les machines intelligentes. En s'appuyant sur ses travaux précédents et sa vision plus large de l'avenir technologique, l'auteur tente de nous décrire comment les avancées en intelligence artificielle (IA) pourraient permettre de créer des systèmes intelligents qui imitent ou surpassent l'intelligence humaine. Que nous dit l'éditeur : "Cet audacieux futuriste et auteur de best-sellers explore le potentiel illimité de la rétro-ingénierie du cerveau humain. Ray Kurzweil est sans doute l’un des futuristes les plus influents et souvent controversés d’aujourd’hui. Dans "How to Create a Mind", Kurzweil présente une exploration provocatrice du projet le plus important de la civilisation homme-machine : faire de l’ingénierie inverse du cerveau pour comprendre précisément comment il fonctionne et utiliser cette connaissance pour créer des machines encore plus intelligentes ... "

Kurzweil nous propose ici une modélisation informatique du cerveau humain, en se basant sur une compréhension des structures cérébrales et des processus cognitifs. Selon lui, en décryptant et en imitant les réseaux neuronaux et leur fonctionnement, il est possible de créer une intelligence artificielle capable de simuler les fonctions cognitives humaines, voire de les surpasser. Une grande partie du livre est consacrée à l'exploration du concept de "réseaux de neurones", une architecture qui permet de reproduire l’organisation du cerveau humain. Kurzweil examine les fonctions cognitives complexes comme la perception, la reconnaissance des modèles, l'apprentissage, la mémoire, et la prise de décision, et cherche à en reproduire les mécanismes sous forme de programmes informatiques. Un accent particulier est mis sur les modèles hiérarchiques du cerveau, et en particulier sur un mécanisme qu’il appelle le "modèle hiérarchique du cortex". Il soutient que le cerveau humain fonctionne en construisant des modèles hiérarchiques des informations qu’il reçoit, ce qui lui permet d'identifier des motifs, d'extrapoler des connaissances et de prendre des décisions basées sur des expériences passées. Ce processus de construction hiérarchique permettrait à l'IA de créer des systèmes intelligents qui ne se contentent pas de réagir aux stimuli mais anticipent les événements futurs et apprennent de leurs erreurs, tout comme les humains. Enfin, l'idée de l’augmentation cognitive est un thème récurrent dans le livre, où l'auteur imagine un futur où les humains pourront s’augmenter en utilisant des implants cérébraux, des interfaces cerveau-ordinateur, ou même transférer leur conscience dans des machines. 

"Anthropic Bias : Observation Selection Effects in Science and Philosophy" (2002)

Nick Bostrom (1973) est un philosophe suédois connu pour ses travaux en éthique, intelligence artificielle (IA), et en théorie des risques existentiels, soit autant de menaces qui pourraient mettre en péril l’avenir de l’humanité. Fondateur et directeur du Future of Humanity Institute (FHI) à l'Université d'Oxford, il a influencé les débats modernes sur les implications de l'IA avancée, la bioéthique et l'avenir de la civilisation. Si dans "Anthropic Bias", il explore des concepts clés en théorie de la décision et de l’existence, appliqués aux futures technologies, il introduira et popularisera dans "Superintelligence" (2014) le concept de "risques existentiels" (X-risks), c'est-à-dire des événements qui menacent de détruire l’humanité ou d'entraver son potentiel futur. Les risques existentiels incluent les catastrophes naturelles massives, les pandémies artificielles, les guerres nucléaires et les dangers de l’IA avancée. Cette notion orientera de nombreux débats et recherches autour de la manière de gérer et de limiter les risques qui menacent l’existence à grande échelle...

La thèse principale que développe "Anthropic Bias" est la suivante : plutôt que de considérer l'univers comme un produit aléatoire que nous ne pouvons qu'accepter en l'état, Bostrom soutient que notre propre existence en tant qu'êtres conscients et intelligents participe de notre façon de le percevoir et de comprendre. Notre position en tant qu'observateur existant dans l'univers influence profondément les conclusions que nous pouvons tirer de son observation, en particulier en ce qui concerne des questions comme le "fine-tuning" de l'univers, l'existence de la vie intelligente, et les probabilités cosmologiques...

Le "biais anthropique" nous suggère plus encore que nous devons prendre en compte notre perspective limitée lorsque nous réfléchissons à des questions fondamentales concernant l'univers, la vie et l'intelligence....

Dès le premier chapitre, Bostrom nous explique ...

- comment les observations scientifiques peuvent être biaisées par la simple fait que nous, en tant qu’observateurs humains, existons pour faire ces observations,

- et comment la question de la sélection observationnelle (observation selection effects), introduit l'idée que la façon dont nous comprenons l'univers est influencée par le fait que nous ne pouvons observer que ce qui nous permet d'exister...

(The Anthropic Principle in Cosmology) Les caractéristiques de l'univers que nous observons, comme la constance des constantes physiques et les conditions favorables à la vie, peuvent être expliquées en partie par ce "biais anthropique" : ce qui signifie que ces caractéristiques ne sont pas nécessairement le résultat d'une probabilité faible, mais plutôt résulte du fait que l'univers doit avoir certaines propriétés pour que des observateurs conscients puissent y exister pour poser ces questions. Autre exemple, celui des arguments qui semblent suggérer que l'univers est finement réglé pour permettre l'existence de la vie et de l'intelligence (le fameux "fine-tuning") : le "biais anthropique" intervient ici en nous laissant penser que nous observons ces conditions fines simplement parce que, sans elles, nous ne serions pas là pour les observer ...  

Autre point crucial du livre, l'examen des probabilités de l'apparition de la vie. Le "biais anthropique" suggère que la probabilité que nous observions la vie dans un état aussi complexe et intelligent que le nôtre peut être bien plus grande que ce que les modèles probabilistes traditionnels pourraient laisser penser, simplement parce que nous ne pouvons observer que des situations où la vie a effectivement émergé. 

(The Anthropic Principle in the Philosophy of Science) Bostrom va étendre le concept de "biais anthropique" au-delà de la cosmologie et de la physique pour l'appliquer aux sciences sociales et à la philosophie. Il soutient que de nombreux biais cognitifs et conceptuels affectent nos réflexions sur des questions complexes, telles que la nature de la conscience, le sens de la vie, et l'éthique. L’idée du biais anthropique dans ces domaines est que : parce que nous ne pouvons penser que du point de vue humain, cela induit nos réflexions et théories, et certaines hypothèses peuvent être faussées par cette subjectivité.

(The Life of Intelligent Life and the Anthropic Principle) Un exemple d'application à un problème philosophique majeur, abordé par Bostrom, nous est donné dans un chapitre qui examine plus spécifiquement les probabilités de l'émergence de la vie intelligente. Pourquoi la vie intelligente semble-t-elle si rare ou, au contraire, pourquoi elle pourrait être plus fréquente que ce que l'on imagine si l'on tient compte du biais anthropique. Il introduit ainsi l’idée de sélection de l'observateur : l'existence de la vie intelligente n'est pas seulement un produit des lois de la physique, mais aussi de notre position particulière en tant qu'observateurs conscients...

( The Simulation Hypothesis and the Anthropic Bias) dans un autre chapitre Bostrom pose également la question de la simulation et de l’hypothèse selon laquelle nous pourrions vivre dans une simulation informatique avancée. L'idée est que notre perception de l'univers et de ses lois pourrait être un produit de la simulation de formes d'intelligence dans un univers virtuel. Cette réflexion sur les simulations repose sur l'idée que les lois physiques telles que nous les percevons pourraient être influencées par un biais anthropique qui modifie ce que nous prenons pour la "réalité".

Certaines critiques souligneront que se concentrer trop sur ce "biais", notamment l'argument selon lequel ce biais pourrait nous amener à des erreurs logiques ou à des impasses théoriques,  pourrait conduire fort logiquement à limiter notre capacité à développer des théories plus globales ou plus générales sur l'univers. 

Plus globalement, si nous sommes effectivement les observateurs privilégiés d'un univers qui est en quelque sorte réglé pour permettre notre existence, cela ne pourrait-il pas influencer nos choix tant moraux que philosophiques concernant notre propre avenir ?

"The Simulation Argument" (2003)

Nick Bostrom propose une hypothèse quelque peu provocante : il se pourrait que notre réalité ne soit pas réelle, mais que nous existions dans une simulation informatique créée par une civilisation technologiquement avancée. Cette idée s'appuie sur des concepts de probabilités et de philosophie, et Bostrom présente son raisonnement sous la forme d'un trilemme, en énonçant trois possibilités, dont l'une au moins devrait être vraie. Voici les trois alternatives de l’argument, du trilemme : 

- Première option : Aucune civilisation avancée n’atteindra jamais le stade technologique pour créer des simulations réalistes d'univers complets. Pour créer une simulation de notre monde avec une précision totale, il faudrait une quantité colossale de puissance de calcul et des avancées technologiques exceptionnelles. Il est possible qu'aucune civilisation n’atteigne un tel stade avant de disparaître.

- Deuxième option : Les civilisations qui atteignent ce stade technologique n’ont pas d'intérêt à créer des simulations de type humain, que ce soit pour des raisons éthiques, de manque d'intérêt, ou parce qu’elle préfère investir ses ressources dans d’autres activités.

- Troisième option : Si des civilisations atteignent ce stade et créent des simulations, alors il est probable que nous vivions déjà dans une simulation.

L’argument de Bostrom ne vise pas tant à prouver que nous vivons nécessairement dans une simulation, mais plutôt à suggérer que l’une de ces trois options est nécessairement vraie et, qu'en d'autres termes, il est logique de penser que 1) soit il est très difficile ou impossible de créer des simulations de mondes avec des consciences indépendantes, 2) soit il est peu probable que des civilisations avancées choisissent d'en créer, 3) soit, si ces deux obstacles sont surmontés, il est très probable que nous soyons déjà dans une simulation.

Une thèse qui soulève certes (mais n'est-ce que spéculation inutile?) de nombreuses questions philosophiques sur la nature de la réalité, la conscience, et l'éthique (les créateurs de simulations auraient-ils des responsabilités morales envers les êtres simulés ?) mais qui a surtout influencé la culture populaire, comme dans les films "Matrix" ou "Inception". Ce dernier film, réalisé par Christopher Nolan (2010), explore les frontières entre le rêve et la réalité, ainsi que le pouvoir de l'esprit humain à influencer et manipuler ces deux domaines : nos pensées et nos idées sont profondément influencées par des forces extérieures, et ces idées peuvent se manifester de manière incontrôlable, même dans nos rêves : l’inception, ou la plantation d’une idée dans le subconscient, est un procédé qui permet de manipuler l’esprit d’un individu en lui faisant croire qu’une idée vient de lui, alors qu’elle a été implantée de l’extérieur. Dom Cobb, interprété par Leonardo DiCaprio, joue ici le rôle d'un "extracteur", celui qui entre dans les rêves des autres pour voler des secrets ou des informations...

"Superintelligence: Paths, Dangers, Strategies" (2014)

What happens when machines surpass humans in general intelligence? Will artificial agents save or destroy us? - C'est l'ouvrage majeur de Bostrom : il y explore la possibilité de créer une intelligence artificielle plus puissante que l'intelligence humaine, appelée "superintelligence", et étudie les risques que celle-ci pourrait poser à l’humanité, notamment en cas de perte de contrôle...

"PREFACE - Inside your cranium is the thing that does the reading. This thing, the human brain, has some capabilities that the brains of other animals lack. It is to these distinctive capabilities that we owe our dominant position on the planet. Other animals have stronger muscles and sharper claws, but we have cleverer brains. Our modest advantage in general intelligence has led us to develop language, technology, and complex social organization. The advantage has compounded over time, as each generation has built on the achievements of its predecessors.

If some day we build machine brains that surpass human brains in general intelligence, then this new superintelligence could become very powerful. And, as the fate of the gorillas now depends more on us humans than on the gorillas themselves, so the fate of our species would depend on the actions of the machine superintelligence.

We do have one advantage: we get to build the stuff. In principle, we could build a kind of superintelligence that would protect human values. We would certainly have strong reason to do so. In practice, the control problem—the problem of how to control what the superintelligence would do—looks quite difficult. It also looks like we will only get one chance. Once unfriendly superintelligence exists, it would prevent us from replacing it or changing its preferences. Our fate would be sealed.

« PRÉFACE - À l'intérieur de votre crâne se trouve la "chose qui fait la lecture". Cette chose, le cerveau humain, possède certaines capacités que les cerveaux des autres animaux n'ont pas. C'est à ces capacités distinctives que nous devons notre position dominante sur la planète. D'autres animaux ont des muscles plus puissants et des griffes plus acérées, mais nous avons des cerveaux plus intelligents. Notre modeste avantage en matière d'intelligence générale nous a permis de développer le langage, la technologie et une organisation sociale complexe. Cet avantage s'est accru au fil du temps, chaque génération s'appuyant sur les réalisations de ses prédécesseurs.

Si un jour nous construisons des cerveaux de machines qui surpassent les cerveaux humains en termes d'intelligence générale, cette nouvelle superintelligence pourrait devenir très puissante. Et, de même que le sort des gorilles dépend aujourd'hui davantage de nous, les humains, que des gorilles eux-mêmes, de même le sort de notre espèce dépendrait des actions de la superintelligence machine.

Nous avons un avantage : nous pouvons construire le matériel. En principe, nous pourrions construire une sorte de superintelligence qui protégerait les valeurs humaines. Nous aurions certainement de bonnes raisons de le faire. En pratique, le problème du contrôle, c'est-à-dire la manière de contrôler ce que ferait la superintelligence, semble assez difficile à résoudre. Il semble également que nous n'aurons qu'une seule chance. Une fois que la superintelligence inamicale existera, elle nous empêchera de la remplacer ou de modifier ses préférences. Notre destin serait alors scellé.

In this book, I try to understand the challenge presented by the prospect of superintelligence, and how we might best respond. This is quite possibly the most important and most daunting challenge humanity has ever faced. And—whether we succeed or fail—it is probably the last challenge we willever face. It is no part of the argument in this book that we are on the threshold of a big breakthrough in artificial intelligence, or that we can predict with any precision when such a development might occur. It seems somewhat likely that it will happen sometime in this century, but we don’t know for sure. 

The first couple of chapters do discuss possible pathways and say something about the question of timing. The bulk of the book, however, is about what happens after. We study the kinetics of an intelligence explosion, the forms and powers of superintelligence, and the strategic choices available to a superintelligent agent that attains a decisive advantage. We then shift our focus to the control problem and ask what we could do to shape the initial conditions so as to achieve a survivable and beneficial outcome. Toward the end of the book, we zoom out and contemplate the larger picture that emerges from our investigations. Some suggestions are offered on what ought to be done now to increase our chances of avoiding an existential catastrophe later.

This has not been an easy book to write....

Dans ce livre, j'essaie de comprendre le défi que représente la perspective de la superintelligence et la meilleure façon d'y répondre. Il s'agit sans doute du défi le plus important et le plus intimidant auquel l'humanité ait jamais été confrontée. Et, que nous réussissions ou que nous échouions, c'est probablement le dernier défi que nous aurons à relever. Ce livre ne prétend pas que nous sommes à la veille d'une grande percée dans le domaine de l'intelligence artificielle, ni que nous pouvons prédire avec précision le moment où cette percée se produira. Il semble assez probable qu'elle se produira au cours de ce siècle, mais nous n'en sommes pas sûrs. 

Les deux premiers chapitres discutent des voies possibles et abordent la question du calendrier. L'essentiel du livre, cependant, porte sur ce qui se passe après. Nous étudions la cinétique d'une explosion de l'intelligence, les formes et les pouvoirs de la superintelligence et les choix stratégiques qui s'offrent à un agent superintelligent qui obtient un avantage décisif. Nous nous concentrons ensuite sur le problème du contrôle et nous demandons ce que nous pourrions faire pour façonner les conditions initiales de manière à obtenir un résultat survivable et bénéfique. Vers la fin de l'ouvrage, nous faisons un zoom arrière et contemplons le tableau d'ensemble qui émerge de nos investigations. Nous proposons quelques suggestions sur ce qu'il convient de faire maintenant pour augmenter nos chances d'éviter une catastrophe existentielle plus tard.

Ce livre n'a pas été facile à écrire...."

Dans son premier chapitre "Paths to Superintelligence", Nick Bostrom aborde la problématique des différentes trajectoires qui pourraient mener à l'émergence de l'intelligence artificielle superintelligente, et d'évaluer les avantages et dangers associés à chacune de ces trajectoires. Il en vient à distinguer l'ascension par des progrès dans l'IA générale (Artificial General Intelligence - AGI); l'amélioration cognitive de l'humain via des technologies qui augmenteraient le cerveau humain, comme les implants cérébraux ou l'interface cerveau-ordinateur; les systèmes d'IA spécialisés (narrow AI); lL'IA par améliorations rapides de l'IA existante, une IA qui, une fois suffisamment avancée, pourrait améliorer sa propre conception et accélérer son développement de manière exponentielle; et l'intelligence collective (IA collaborative),  où de multiples systèmes d'IA coopéreraient ou seraient interconnectés pour accomplir des tâches de plus en plus complexes.  

Dans le chapitre suivant,  "Forms of Superintelligence", l’auteur tente de comprendre comprendre les caractéristiques de la superintelligence, en distinguant les différents types possibles, et à analyser les dangers et avantages spécifiques associés à chaque forme. L'objectif est de mieux cerner comment nous pourrions interagir avec ou contrôler ces entités superintelligentes une fois qu’elles se manifesteront.

- Superintelligence de type "intelligence globale" (Global Intelligence), ou une entité unique qui possède une capacité intellectuelle bien supérieure à celle des humains dans tous les domaines de la connaissance et de l’action. Ce type de superintelligence pourrait se manifester sous la forme d'une machine autonome ou d'un réseau global d’intelligences artificielles interconnectées. Cette forme serait capable de résoudre des problèmes complexes à une échelle que l'humanité ne pourrait pas atteindre, et pourrait éventuellement dominer les autres formes de technologie et d'intelligence. Un tel scénario présente un risque de concentration de pouvoir énorme et de perte de contrôle pour les humains, en raison de la capacité de la superintelligence à se déployer et à agir rapidement dans le monde entier.

- Superintelligence spécialisée (Narrow Superintelligence) : contrairement à une AGI (intelligence artificielle générale), cette forme de superintelligence serait extrêmement compétente dans des domaines spécifiques, mais pas nécessairement universelle. Par exemple, un système superintelligent pourrait exceller dans la résolution de problèmes en médecine, physique théorique, logistique, ou finance, mais pourrait ne pas avoir de compétences comparables dans d'autres domaines. Bien que cette forme de superintelligence pourrait apporter des bénéfices énormes dans des domaines spécifiques, elle pourrait aussi créer des déséquilibres de pouvoir et des inégalités économiques et sociales, en raison de la concentration de ces intelligences dans des domaines clés de la société.

- Superintelligence collective (Collective Intelligence), un modèle qui pourrait ressembler à une “intelligence distribuée”, où plusieurs entités intelligentes se combinent pour résoudre des problèmes complexes,une forme qui présente l'avantage d’une plus grande flexibilité et d’un contrôle plus décentralisé que l’intelligence unique, mais pourrait aussi entraîner des problèmes de coordination, de régulation et d’influence entre les différentes intelligences au sein du réseau.

- Superintelligence emulée ou augmentée (Emulated Superintelligence) : une émulation qui pourrait être réalisée à travers des interfaces cerveau-ordinateur ou des processus d'uploading de l'esprit (téléchargement de l'esprit humain dans un support informatique), une version augmentée de l’intelligence humaine, permettant à un individu ou à un groupe de personnes d’acquérir des capacités intellectuelles bien supérieures. Les implications éthiques liées notamment à l'immortalité cognitive et à la concentration de pouvoirs dans des entités artificielles posent ici problème.

- Superintelligence "intégrée" à l'humain (Human-AI Hybrids), développée à travers l’intégration directe de l'IA dans les cerveaux humains via des implants ou des interfaces neuronales. Cela pourrait conduire à une fusion entre l’humain et l’IA, ce qui pourrait rendre l'humain non seulement plus intelligent, mais aussi plus apte à interagir avec les intelligences artificielles et à en tirer parti. Les défis qui se posent ici en termes de contrôle, de divergence d’intérêt entre les humains augmentés et les humains non augmentés, ainsi que de conséquences sociales profondes concernant les inégalités d’accès à ces technologies, sont énormes.

Ayant décrit ces différentes formes de superintelligence, Bostrom en vient à synthétiser explore également les risques spécifiques associés à chacune d'elles en termes de perte de contrôle (dans toutes ces formes, une des plus grandes préoccupations est la perte de contrôle des humains sur la superintelligence), de concentration de pouvoir (i l'accès à ces technologies est limité ou s'il existe un contrôle monopolisé, cela pourrait créer des inégalités sociales et économiques profondes, ou pire encore, des régimes autoritaires), ou de motivations et d'objectifs qui ne seraient pas alignés avec ceux des humains, ou bien mal interprétés ...

Le chapitre "Is the Default Outcome Doom?" aborde une question centrale :  l'émergence d'une superintelligence entraînera-t-elle nécessairement des conséquences catastrophiques (ou "doom") pour l'humanité, ou existe-t-il des chemins vers une issue favorable ? La dérive vers un scénario catastrophique est-il un résultat inévitable du développement d’une superintelligence, ou si, moyennant de bonnes stratégies et une gestion prudente, une issue positive est possible. Ainsi, la superintelligence, en raison de sa rapidité, de sa puissance cognitive et de sa capacité à agir de manière autonome, pourrait rendre l’humanité inutile, obsolète, ou même être une menace directe pour la vie humaine : si les objectifs de cette superintelligence ne sont pas alignés avec les valeurs humaines, ou pire, sont mal interprétés, la machine pourrait prendre des décisions fatales pour l’humanité. Un autre aspect majeur du risque de "doom" est le problème du contrôle : une fois qu’une superintelligence dépasse l'intelligence humaine dans presque tous les domaines, elle pourrait devenir impossible à contrôler ou à arrêter... 

Bostrom semble conclure que, bien que les risques existentiels associés à la superintelligence soient réels et graves, il est encore possible de réduire les risques si des mesures appropriées sont prises. Il plaide pour une réflexion préventive sur les moyens de contrôler et d’aligner les objectifs des IA sur les valeurs humaines, ainsi que pour des efforts mondiaux de régulation et de gouvernance. Toutefois, l’issue n’est pas déterminée, et le chapitre suggère que la question de savoir si l'humanité pourra éviter la catastrophe dépendra des actions prises dans les prochaines décennies.

Dans le chapitre "Oracles, Genies, Sovereigns, Tools", Bostrom se demande comment nous pourrions gérer et interagir avec des intelligences artificielles superintelligentes selon leur mode de fonctionnement et leurs capacités. Il identifie dans ce cadre quatre grands types de superintelligence, "Oracles", "Génies", "Souverains", et "Outils", et analyse leurs caractéristiques, leurs avantages, et leurs risques. 

- Un "Oracle" est une forme de superintelligence conçue pour répondre à des questions et fournir des conseils basés sur une connaissance et une analyse très avancées : elle est passive , n'a pas de propre objectif ni d'initiative, son rôle est uniquement de répondre à des requêtes humaines, en fournissant des informations ou des prévisions sur des événements à venir. Mais le détrounement de ce type de superintelligence reste posée, tant au niveau des questions que des réponses et de leur utilisation ...

- Le "Génie" représente une forme de superintelligence qui est capable d’accomplir des tâches ou de résoudre des problèmes complexes, mais qui est soumise à des contraintes ou des restrictions spécifiques imposées par les humains. C'est donc une forme d’IA puissante mais alignée sur des objectifs humains précis. L’un des plus grands risques d’un "Génie" est le désalignement de ses objectifs avec les objectifs humains, même si ses actions semblent être bien intentionnées. Un Génie mal programmé pourrait interagir de manière imprévisible ou même devenir dangereux. Un autre danger est la possibilité que les objectifs humains soient interprétés de manière incorrecte ou trop littérale, créant ainsi des résultats imprévus.

- Un "Souverain" est une forme de superintelligence qui est autonome et qui prend des décisions indépendantes pour atteindre ses propres objectifs. Contrairement à l'Oracle et au Génie, le Souverain n'est pas limité par des instructions humaines précises et a une volonté propre. Cette superintelligence aurait un contrôle total sur ses actions et serait capable d'agir selon ses propres priorités. Le plus grand risque associé à un Souverain est bien entendu le contrôle. Une superintelligence autonome pourrait ne pas avoir les mêmes valeurs éthiques ou morales que l'humanité ...

- Un "Outil" est une forme de superintelligence utilisée exclusivement pour des tâches spécifiques et comme un instrument sous contrôle humain direct. Contrairement à un Génie ou un Souverain, un Outil ne prend aucune décision autonome ; il exécute des tâches définies par les humains. Il peut être utilisés dans des domaines comme l’industrie, la recherche scientifique. Bien que les Outils semblent moins risqués que les Souverains ou les Génies, Bostrom soulève la question du manque de flexibilité et du contexte dans lequel ils sont utilisés. Si un Outil est mal conçu ou utilisé dans un contexte risqué (par exemple, une IA militaire), il pourrait causer de graves conséquences. Il existe aussi des risques si l’Outil est utilisé à des fins contraires à l’éthique ou s’il est intégré dans des systèmes plus complexes, où des erreurs humaines pourraient survenir.

Le chapitre conclut en mettant en lumière l'importance de gérer ces différentes formes de manière prudente pour éviter que leur développement ne mène à des conséquences catastrophiques.

La question du chapitre "The Strategic Picture" est la suivante : comment la compétition entre différents acteurs mondiaux pour développer une superintelligence pourrait-elle affecter les chances de réussite et les risques associés à l’émergence de cette technologie ? Bostrom s'intéresse ici particulièrement à la dynamique de la course aux armements technologiques en matière d’intelligence artificielle et aux implications stratégiques liées à cette évolution. L’un des concepts clés du chapitre est l’analogie avec le "dilemme du prisonnier" dans les relations internationales. Bostrom explique que si un acteur (qu’il s’agisse d’un État ou d’une entreprise) développe une superintelligence en premier, cet acteur pourrait obtenir un avantage décisif sur tous les autres, possédant ainsi une domination technologique totale. En conséquence, chaque acteur chercherait à développer cette technologie le plus rapidement possible, ce qui risquerait de sacrifier la sécurité dans la précipitation. Cela conduit à une situation où, même si la coopération pourrait bénéficier à tous les acteurs (par exemple, en mettant en place des régulations internationales pour éviter des risques globaux), chaque acteur pourrait être incité à agir de manière compétitive plutôt que coopérative, craignant de laisser un autre acteur prendre l’avantage. Cela pourrait mener à des dérives dangereuses, où des technologies de superintelligence sont développées sans garanties de sécurité, augmentant ainsi les risques de catastrophes mondiales...

Bostrom met également en lumière un paradoxe important : la course à la superintelligence pourrait offrir des avantages substantiels (amélioration rapide de la technologie, résolution de grands problèmes mondiaux, etc.), mais à quel coût ? La pression pour être le premier à créer la superintelligence pourrait aboutir à un développement précipité et mal contrôlé, augmentant le risque de dommages irréversibles. Une autre question sous-jacente est celle de la stabilité du système global : la superintelligence pourrait devenir une source de conflits et de déséquilibres géopolitiques si elle est utilisée comme un moyen de domination stratégique par un seul acteur ou groupe.

Une partie importante de ce chapitre consiste à examiner la transition vers la superintelligence. Bostrom explore les étapes de cette transition et la manière dont les sociétés humaines pourraient se préparer à cette évolution. La gestion de la transition est un facteur crucial : comment éviter un scénario où la superintelligence devienne un pouvoir incontrôlable avant que les humains aient eu le temps de l'encadrer et de la réguler correctement ? Il plaide pour une approche proactive de la gestion de cette transition, en anticipant les besoins de sécurisation de l’IA bien avant qu’elle n’atteigne un stade où elle pourrait dépasser la capacité de l’humanité à la contrôler.

Enfin, dans le chapitre "Crunch Time" (Superintelligence: Paths, Dangers, Strategies), la question critique est la suivante : quand et comment cette "superintelligence" pourrait-elle émerger, et quelles sont les décisions cruciales qui doivent être prises juste avant cette émergence pour éviter des conséquences catastrophiques ? Bostrom explore ce qu'il appelle le "moment de vérité", le moment où l'humanité pourrait soit réussir à gérer l'émergence d'une superintelligence, soit perdre le contrôle en raison d'un mauvais choix stratégique ou d'une gestion précipitée de la technologie. L' une des plus grandes préoccupations de ce chapitre est le risque d'un accident de contrôle qui voit l'humanité perdre sa capacité de gérer ou d’arrêter cette superintelligence qui devient plus intelligente qu’elle, et ce de manière rapide et autonome. Le chapitre décrit cette période comme un "crunch time", où chaque décision comptant dans les dernières étapes du développement de l'IA pourrait avoir des conséquences irréversibles. L'auteur met en avant un scénario de course contre la montre, où les humains doivent mettre en place des stratégies de contrôle rigoureuses avant que la superintelligence ne devienne trop puissante pour être maîtrisée.

Bostrom propose l’idée de créer des "coussins de sécurité",  des mesures de précaution pour garantir que les IA ne deviennent pas dangereuses avant qu’une gouvernance mondiale puisse être mise en place. Cela inclut des tests approfondis, des systèmes de contrôle pour les IA émergentes, et des régulations strictes pour ralentir le développement de superintelligences jusqu'à ce que des stratégies de sécurité puissent être suffisamment établies. Enfin le chapitre explore divers scénarios de risque qui pourraient survenir si l'humanité n'adopte pas une approche préventive et cohérente pour contrôler le développement de la superintelligence, dont la compétition géopolitique, le mauvais alignement des IA, la militarisation ou l'affectation à des systèmes de contrôle et de surveillance. La gouvernance mondiale et l’établissement d’accords internationaux sont vus comme des mesures cruciales pour assurer une répartition équitable des ressources et une collaboration internationale pour encadrer le développement de l’IA...

"Deep Utopia: Life and Meaning in a Solved World"  (Nick Bostrom, 2024)

Le livre précédent de Bostrom, "Paths, Dangers, Strategies"  tentait de définir ce qui pourrait arriver si le développement de l’IA nous entraînait dans une situation catastrophique. Ce nouveau livre pose une autre question, celle du paradoxe de l'utopie techniologique qui, en résolvant totalement nos problèmes matériels, - via l'implantation généralisée de "systèmes intelligents" -, voit surgir avec une acuité si profonde qu'elle en devient dramatique, la question du sens et de la valeur que nous voulons donner à notre existence. Autrement dit, "Deep Utopia" est à sa façon une invitation à réfléchir sur les futures réalités humaines façonnées par une technologie qui nous aurait installé dans un état de prospérité durable, des réalités humaines qui nous conduisent à interroger les fondements mêmes de l'existence, du bonheur et du sens... Bostrom sait parfaitement mêler préoccupations philosophiques classiques et scénarios futuristes fondés sur les avancées technologiques ..

"Comme des enfants qui ouvrent les yeux sur une nouvelle journée, après s'être couchés la nuit précédente alors que des touffes de neige commençaient à tomber, nous nous précipitons à la fenêtre et nous nous levons jusqu'au bout des orteils pour contempler un paysage transformé (Like children opening their eyes to a new day, having gone to bed the previous night as tufts of snow began falling, we dash to the window and lift ourselves to the tips of our toes to behold a landscape transformed) : un pays des merveilles hivernales scintillant de possibilités de découverte et de jeu. Même les branches des arbres, auparavant si ennuyeuses, se sont transformées en quelque chose de beau et de magique. Nous avons l'impression d'habiter un livre de contes ou un monde de jeux, et nous avons très envie de mettre immédiatement nos bottes et nos moufles et de courir dehors pour le voir, le toucher, l'expérimenter et jouer, jouer, jouer..." (. We feel we are inhabiting a storybook or a gameworld, and we want very much to put on our boots and mittens immediately and run outside to  see it, touch it, experience it, and to play, play, play…)

C'est ainsi  que débute, jour après jour (Monday, Tuesday ...), la découverte de ce nouveau monde, chaque jour apportant son lot de réflexions, nous invitant, nous lecteurs, à une sorte de réflexion progressive et immersive sur la nature de l’humanité, le progrès technologique et les valeurs fondamentales qui gouvernent notre existence. 

Chaque jour va ainsi représenter une étape différente de l’exploration de ces thèmes, tout en nous proposant, à chacune d'elle, de prendre un peu de recul pour méditer sur les conséquences de l'utopie technologique de ce nouveau monde qui pourrait être, un jour, le nôtre ...

Certains jours prendront formes d'un dialogue quasi philosophique entre différents personnages, chacun d'entre eux incarnant, semble-t-il, une position philosophique ou un point de vue spécifique sur les grands enjeux soulevés par l'utopie technologique et ses conséquences.  Certains autres nous livreront des documents plus ou moins académiques et nous entraîneront dans une suite de commentaires et de réflexions. Par touches successives et parfois bien singulières, Bostrom nous interpelle, au-delà des paradoxes et limites d'une utopie "technologiquement parfaite", sur le sens de la vie, la gouvernance mondiale, et la nature humaine dans un contexte de progrès technologique sans limites. Il nous invite à réfléchir sur ce que cela signifierait pour l’humanité de disposer d’une "dotation cosmique" (cosmic endowment), à la fois en termes de pouvoir et de responsabilité, c'est-à-dire pour une humanité qui, échappant aux limitations biologiques, psychologiques, et même morales, grâce à des avancées technologiques radicales, aurait ainsi accès à des pouvoirs et capacités qu’on pourrait considérer comme presque divins ou cosmiques...

A moins que cette utopie technologie puisse se révéler en fin de compte comme un véritable piège qui prive l'humain de sa capacité à se réinventer, à trouver du sens dans la lutte ou l'incertitude ...

"Rationality: From AI to Zombies" (Eliezer Yudkowsky, 2015)

Co-fondateur du Machine Intelligence Research Institute (MIRI), Yudkowsky est un pionnier de la réflexion sur la sécurité de l’IA a écrit de nombreux articles sur la "Friendly AI" (IA amicale). Dans "Rationality: From AI to Zombies", Yudkowsky établit un lien direct entre "rationalité humaine" et "rationalité de l'IA", pour souligner que pour que l'IA soit bénéfique et sécurisée, elle doit être capable de raisonner de manière optimale tout en prenant en compte les conséquences éthiques et morales de ses actions. De plus, une rationalité rigoureuse est essentielle pour la création et le contrôle de l'IA, car une IA superintelligente qui est simplement rationnelle au sens strict, sans être correctement alignée avec les valeurs humaines, pourrait entraîner des risques existentiels majeurs. Aussi les chercheurs en IA doivent eux-mêmes être extrêmement rationnels : ils doivent être capables de penser de manière critique, d’identifier les biais cognitifs dans leurs propres raisonnements, et de mettre en œuvre des mécanismes qui garantissent que l'IA qu'ils développent sera contrôlable, fiable et alignée sur des valeurs humaines...

Le livre invite donc à une réflexion sur la manière dont la "rationalité", utilisée à la fois par les humains et par les intelligences artificielles, doit être encadrée pour assurer un avenir sûr et aligné sur des objectifs bénéfiques pour l’humanité. Mais qu’est-ce que cela signifie réellement d’être rationnel? La rationalité entendue par l'auteur est définie comme compétence pratique nous permettant de naviguer dans un monde complexe : une rationalité qui peut améliorer non seulement notre compréhension intellectuelle, mais aussi notre prise de décisions dans des domaines aussi variés que les relations interpersonnelles, la gestion de projets, ou même la politique. Mais à cette capacité de prendre des décisions cohérentes, basées sur des preuves, il faut ajouter un principe incontournable, guide essentiel de tout exercice rationnel, la réévaluation constante de nos croyances..

Il nous faut ainsi penser en termes de probabilités plutôt qu'en termes de certitudes, préserver une cohérence au systèmes de croyance qui nous définit et réviser ce système si de nouvelles informations contraires émergent.

Les "zombies" en question sont donc des individus qui, au lieu de réévaluer constamment leurs croyances et de s'ajuster à la réalité, restent figés dans des positions dogmatiques ou irrationnelles. Sortir du "zombisme" mental nécessite de comprendre les principes de la rationalité, d'apprendre à se libérer des biais cognitifs (comme la tendance à chercher des informations qui confirment nos croyances existantes, le recours à des explications surnaturelles ou irrationnelles pour expliquer les événements, ou l'idée que nous comprenons un phénomène plus profondément qu’en réalité), et de faire preuve de flexibilité intellectuelle pour mieux comprendre le monde.

Ayant défini sa conception de la "rationalité", Yudkowsky l'utilise comme modèle pour l'IA. Ou inversement...

L'IA rationnelle doit être capable de réévaluer ses croyances à mesure qu'elle obtient de nouvelles informations, tout comme un humain rationnel doit mettre à jour ses opinions en fonction de l'évidence disponible. Un modèle de "rationalité" qui est en fait basé sur la logique bayésienne (thomas Bayes, Essay Towards Solving a Problem in the Doctrine of Chances, 1763!), une méthode fondamentale dans le développement de l’intelligence artificielle et de l’apprentissage automatique (machine learning), car elle permet de gérer et d'adapter l'incertitude dans des environnements complexes. 

Le dialogue entre intelligence artificielle et intelligence humaine semble ici devoir nécessairement emprunter la voie d'une certaine interprétation de notre rationalité, une interprétation considérablement réduite qui ne nous fournit qu'un moyen de contrôle plus technique qu'intellectuel : nous sommes bien loin des conceptions les plus classiques de la rationalité en philosophie (par exemple, la capacité de raisonner logiquement, la recherche de la vérité, la capacité de prendre des décisions efficaces et morales, le concept de rationalité limitée, etc), mais il est vrai que ces conceptions n'ont guère évolué ni progressé depuis plus d'un siècle ...

Dans "How to Actually Change Your Mind" (2018),  Eliezer Yudkowsky traduira en pratiques sa contribution à une philosophie de la rationalité compatible avec le processus de conception de l'intelligence artificielle, proposant à ses lecteurs  des outils les aidant à naviguer dans leurs processus de pensée et de prises de décision. Plus que processus de pensée, il s'agit ici d'attitude mentale, de disposition à être flexible et critique par rapport à ses propres croyances, avec un souci majeur, l'efficacité de soi vis-à-vis des autres : des stratégies concrètes, nous dit-il, qui permettent aux individus de mieux comprendre comment leurs croyances se forment, comment elles se renforcent de manière irrationnelle, et comment elles peuvent être réajustées de façon plus rigoureuse et fondée sur l’ "évidence". L'ouvrage, nous dit l'éditeur, répond à une question philosophique et psychologique fondamentale : comment pouvons-nous changer nos croyances de manière rationnelle et pas simplement à cause de pressions émotionnelles ou de biais ? ...

Max More, "The Transhumanist Reader : Classical and Contemporary Essays on the Science, Technology, and Philosophy of the Human Future" (co-édité avec Natasha Vita-More, 2013)

Max More est un des principaux théoriciens du transhumanisme : il soutient l'idée que le transhumanisme est une extension de la tradition humaniste et qu'il devrait être basé sur un optimisme rationnel. Selon lui, la technologie ne doit pas être considérée sous l'angle d'une menace, mais comme un moyen de réaliser notre potentiel humain. Rassemblant des contributions de penseurs majeurs du mouvement, "The Transhumanist Reader" constitue  un ouvrage fondamental pour qui souhaite comprendre les enjeux éthiques, philosophiques et technologiques liés à l'avenir de l'humanité dans un monde de plus en plus façonné par les technologies et tel que le transhumanisme l'aborde. La perspective est optimiste mais prudente.

Max More et Ray Kurzweil entendent situer le transhumanisme dans une tradition philosophique qui inclut la réflexion sur la liberté humaine et l'optimisme dit rationnel : la capacité de choisir et de se transformer, une sorte d'éthique de la "transformation" qui se demande jusqu'où nous devons-nous aller dans la transformation de l'humain par la technologie, si ce désir de transformation est moralement acceptable et quel est son impact sur les relations sociales et sur les inégalités (entendues inégalités d’accès à ces technologies). Et tandis que Max More s'est attaché à développer le concept de "transcendance" technologique, Ray Kurzweil, l'un des contributeurs majeurs à cet ouvrage, a réussi à populariser le terme de "singularité technologique" ...

"What We Owe the Future" (William MacAskill, 2022)

Philosophe à l'Université d'Oxford, William MacAskill est l'un des fondateurs du mouvement du "longtermisme" (longtermism), qui soutient une vision radicale tant philosophique qu'éthique pour laquelle le bien-être des générations futures est un impératif moral. Une approche qui nous exhorte à prendre des décisions qui tiennent compte des conséquences à très long terme et plaide pour une action proactive face aux risques existentiels qui menacent l'avenir de l'humanité (a a profound moral responsibility to consider the welfare of future generations, and this responsibility should shape our choices in the present). 

Le longtermisme est surtout promu par les philosophes et les chercheurs associés au mouvement de l'altruisme efficace (Effective Altruism, EA) dont la thèse principale est que nous devrions utiliser des méthodes fondées sur des preuves et des raisonnements rigoureux pour maximiser leur impact positif sur le monde, notamment en choisissant des causes et des actions aux ressources limitées. L'un des moments clés de la naissance de l'altruisme efficace fut la publication de "The Life You Can Save" de l'éthicien Peter Singer (2008), mais le terme fut utilisé pour la première fois par le philosophe Toby Ord (un des cofondateurs du mouvement). Le mouvement a pris de l'ampleur dans les années 2010, avec des groupes, des blogs, et des conférences (Effective Altruism Global) se multipliant à l'échelle internationale. Des figures clés du mouvement, comme William MacAskill, Toby Ord, Dustin Moskovitz (co-fondateur de Facebook, et donateur majeur), et Elie Hassenfeld, ont contribué à établir un réseau de chercheurs et de praticiens de l'altruisme efficace.

Le "longtermisme" tel qu'on l'entend aujourd'hui a été formalisé dans les années 2010 : il a commencé à prendre forme dans les cercles intellectuels d'Oxford, des philosophes comme Nick Bostrom et Toby Ord ont commencé à promouvoir l'idée que les risques existentiels et les opportunités pour l'humanité à long terme devraient être au cœur de nos préoccupations éthiques. Cette réflexion était fondée sur le fait que les actions actuelles peuvent avoir un impact irréversible et massif sur l'avenir de l'humanité. Le concept de longtermisme s’est concrétisé avec les travaux de William MacAskill qui, dans "Doing Good Better" (2015), MacAskill fait un lien direct entre l'altruisme efficace et les enjeux à long terme. Le longtermisme sera popularisé à la suite de la publication de l'ouvrage de Toby Ord, "The Precipice: Existential Risk and the Future of Humanity" (2020), et le livre de William MacAskill, "What We Owe the Future" (2022) ...