OpenCog Hyperon:人間レベルを超えるAGI(汎用人工知能)のためのフレームワーク<後編>

【目次】

OpenCog Hyperon(オープンコグ ハイペロン)の概要

2008年にリリースされたOpenCogは、ソフトウェアとハードウェアを組み合わせて心の働きをシミュレートするオープンソースプロジェクトであり、AGI(汎用人工知能)の実現を目指しています。脳を直接リバースエンジニアリングするのではなく、コンピュータ科学に基づいた工学的なアプローチを採用している点が特徴です。その認知アプローチは、心の哲学、認知科学、コンピュータ科学、数学、言語学など、多岐にわたる学術分野の融合に基づいています。

OpenCogは、Atomspaceと呼ばれる高度な知識グラフ(KG)を中心に、ニューラルネットワーク、生成AI、確率的AI、プログラム学習AIなど、さまざまなAIモジュールを統合しています。この統合により、適切な認知アーキテクチャを通じて異なる知能コンポーネントが相互に支援し合い、創発的な構造とダイナミクスを生み出す「認知的シナジー」を実現します。

また、OpenCogはオープンソースプロジェクトであり、誰でもコードを閲覧したり、貢献したりすることができます。

2021年に再構成されたOpenCog Hyperonは、OpenCogプロジェクトの拡張版であり、スケーラビリティと使いやすさの課題を解決し、新たな数学的概念を用いて、より強力で汎用性の高いAIの実現を目指しています。2024年4月30日には、Hyperonのアルファ版がリリースされており、最新のAI言語「MeTTa」を導入し、学習空間と知識ストアを提供することで、パターンマイニングや注意配分などのツール群を活用し、AIシステムが協調して学習し問題を解決することが可能になります。

Hyperonは、SingularityNET、HyperCycle、AI-DSLと協力し、全てのAIエージェントが互いに通信できるメタサービスの集合をサポートするフレームワークとして機能し、部分の総和よりも大きいAGIシステムを形成します。

参考文献

以下、2023年9月19日に発表された論文の後半部分になります。内容は正確性と読みやすさに配慮して行う予定です。

論文タイトルOpenCog Hyperon: A Framework for AGI at the Human Level and Beyond:人間レベルを超える汎用人工知能のためのフレームワーク』

注意事項

  • 翻訳はLLMを用いて行うため、内容に誤りがある可能性があります。
  • 翻訳結果については、専門家のレビューが必要です。

4. CogPrime認知モデル(そして更なる進化)

Hyperonソフトウェアフレームワークは、多様な認知アーキテクチャやAGIアプローチの実装に柔軟に適用できます。具体的には、ワンショット型質問応答チャットシステム、定理証明システム、さらには人間に類似した認知アーキテクチャの構築さえも可能にします。しかしながら、OpenCogの開発当初から中心に据えられ、Hyperon時代にも継承されている特定の認知アーキテクチャが存在します。本節では、この「歴史的デフォルトのHyperon認知アーキテクチャ」と、その他のアイデアについても考察していきます。

ゲーツェルによる2021年の学術論文『General Theory of General Intelligence:汎用知能の一般理論』は、CogPrime認知モデルの最新版の詳細な解説を提供しており、他の関連する最新の技術研究論文への詳細な文献リストも含まれています。本稿では、数学的な説明を控え、より高レベルな視点から解説を行い、CogPrime認知モデルの基本的な概念を理解することを目的としています。ただし、基礎理論の詳細な理解を提供するものではありません。

4.1 CogPrime:Hyperonの歴史的デフォルト認知モデル

CogPrimeは、OpenCogプロジェクトの歴史を通じて中心的に追求されてきた、柔軟に定義された認知アーキテクチャです。2012年にOpenCog Classicの文脈で構築されましたが、現在でもHyperonの文脈で十分に機能します。このアーキテクチャは、さまざまな出版物で「CogPrime」と呼ばれてきましたが、この名称は特に定着しませんでした。しかしながら、OpenCogをソフトウェアフレームワークとして、そこに実装される特定の認知アーキテクチャと区別することは重要です。OpenCog Hyperonとしてのフレームワークは、主にCogPrimeアーキテクチャのニーズを満たすように設計されていますが、他にも多くの望ましい特性が考慮されており、HyperonはCogPrime以外の他のアーキテクチャを探求するために使用される可能性が高く、さらにはHyperon上でCogPrimeを用いた実践的なAGI研究開発が進むにつれて、CogPrimeも大きく進化する可能性があります。

CogPrimeの主要な参考文献は、2014年に出版された2巻組の書籍『Engineering General Intelligence:汎用知能のエンジニアリング [Part1] [Part2] 』です。CogPrimeの複雑さを大幅に簡略化すると、以下のようなことが行われています。

  • 知覚:Atomspace内で情報単位である「アトム」を形成し、これらは神経系など他の表現空間とリンクされます。このAtomspaceはCogPrimeの基盤となる知識表現システムであり、感覚入力や過去の経験に基づいて更新されます。
  • 行動:Atomspace内のアトムによって構成された行動計画を策定します。この行動計画は実行のために他の表現形式(例:ニューラル活性化パターン、Rholangプログラムなど)に変換される場合もあります。
  • 周辺認知活動:Atomspace内では、重要度の伝播(アトム間での接続に応じて重要度が伝播する)、概念形成(既存のアトムから新しいアイデアを表す新しいノードを構築する)、推論(既存の関係から新しい関係を構築する)など、自律的で自己組織化された活動が発生します。これらの活動は目標指向的ではなく、システムが周囲の環境を理解し、意味のあるパターンを認識するために重要です。
  • 目標指向型活動:システムは現在の状況に対する知覚に基づき、推論を使用して目標達成の可能性が高いと考える行動を選択(合成)し、実行に移します。

CogPrimeを実現させるには、MeTTaスクリプトで表される複数の認知プロセスが連携して機能します。最適な認知プロセス構成は現在も実験中で特定されていませんが、2014年に出版された『汎用知能のエンジニアリング』では初期の非常に詳細な仮説が提示されており、オンライン上でも簡潔にまとめられています。ハイライトを簡単にまとめると以下の通りです。

  1. ECAN(Economic Attention Allocation:経済的注意配分):アトム間で短期・長期の重要度を伝播させるためのメカニズムです。
  2. PLN(Probabilistic Logic Networks:確率論理ネットワーク):観測結果や自然言語、数学、その他のソースから得られた知識に基づいて、不確実な論理的結論を導き出すための確率論的論理ネットワークです。
  3. 概念混合:既存の証拠と既存の概念に基づいて新しい概念を形成するための、マッピング、オッカムの剃刀に基づく概念述語化など、ヒューリスティックな手法。
  4. 進化学習:Atomspaceの新しいサブネットワークを、特定の基準を満たすように進化させるためのプロセスです。
  5. 確率的手続きと述語合成:Atomspaceや他の空間における確率分布に基づいて、新しいコンテンツを作成するための手法です。
  6. パターンマイニング:Atomspaceや他の空間で観察されたパターンを表す新しい述語を生成するための手法です。
  7. 目標の洗練:システムが与えられた上位目標に基づいて、サブゴールの作成、削除、統合を行うための手法です。
  8. 目標指向行動選択:認識された状況下でシステムの目標達成に寄与しそうな行動を選択するための手法です。
  9. 自己生成的書き換え規則:互いに書き換えを行うことで、相互に生成し合う規則のオートカタリティック系を形成する “自己生成” システム (OpenCogでは “Cogistry“と呼ばれるアプローチ。Aera認知アーキテクチャにおけるReplicodeの使用にも類似)
図6:CogPrimeなどのヒト型認知アーキテクチャをサポートする主要な高レベルの構成要素を描いたものです。これは心の標準モデルの基本的な概略と非常によく似ており、図16に少しだけ詳細を追加したものです。
(汎用知能のエンジニアリングより引用)

Hyperonアーキテクチャにおいて、これらのプロセスはすべて、当初は手動でコード化されたMeTTaと、その後詳細部分を埋める学習済みの MeTTaコードの組み合わせにより、Atomspaceの中央で一元的に実行されます。LLMが果たす可能性のある役割は、特定の部分に限定されるものではなく、むしろさまざまなコンポーネントに分散しています。例えば、言語に関してはLLMが大きな役割を果たす可能性がありますが、長期記憶の複数の形式の一つになることも考えられます。また、LLMは反応的プロセスと熟考的プロセスの両方において情報源として機能することができますが、どちらの場合も限界があるため、他の推論プロセスや学習プロセスと連携させる必要があります。

図7:CogPrimeなどのヒト型認知アーキテクチャにおいて「実行プロセス」の主要な構成要素を描いたものです。
(汎用知能のエンジニアリングより引用)

現在の技術を使用してこれを実装する方法の一つは、深層ニューラルネットワークを行動(例:右腕と左腕)および強化階層に活用し、AtomspaceベースのMeTTa手続きを運動計画の主要モダリティとして使用することです。ここで重要なのは、MeTTaの記号的な行動計画とニューラルネットの運動合成能力との間の流動的な調整です。単にMeTTaが高レベルの計画を出し、ニューラルネットがその高レベル計画の各行動を個別に実行する方法を見つけるだけでは不十分です。むしろ、高レベルの計画全体をニューラルネットが文脈として捉え、その計画の各部分に対応する行動の合成を行う必要があります。これにより、全体の動作系列を反映した形で各部分の運動が詳細に実行されることが可能になります。

このユースケースは、Neural-Symbolic統合を探索するのに非常に適しており、Hanson Robotics、Awakening Health、Mind Children、その他のパートナープロジェクトとの共同研究を通じて、実世界のロボット工学の文脈で探求していく予定です。オープンなロボット工学コミュニティが、Hyperonをこのような目的に合わせてカスタマイズすることに関わることも望ましいでしょう。

図8:CogPrimeなどのヒト型認知アーキテクチャにおいて「言語処理」の主要な構成要素を描いたものです。
(汎用知能のエンジニアリングより引用)

Transformer型ニューラルネットワーク(LLMなどを含む)は、理解と生成の階層構造をカップリングして実装する非常に有効な手法の一つであることは明らかです。この場合、2つの階層は単に密接に結合しているというよりも、豊かに相互浸透しており、密接な関係にあります。LLM内のコンテンツに対応する(確率的または明確な)形式言語規則を、シンボリックなパターン認識と推論を用いて認識する場合、推論された規則もまた自然と階層構造に配置されることが想定されます。おそらく、大部分の規則は理解側と生成側の両方で使用されるようになるでしょう。

現行のLLMは、知覚、行動、認知との密接な連携が軽視されており、これが幻覚(ハルシネーション)を引き起こす一因と考えられます。LLMの幻覚を改善する一つの方法は、LLMを真実を含むと想定される知識グラフと推論的に結びつけることでしょう。しかし、LLMを直接的な知覚や行動的基盤と接続することも、LLMのパターンと非言語的な現実世界との間の必要な繋がりを提供するためのもう一つの有効な方法です。

図9:CogPrimeなどのヒト型認知アーキテクチャにおいて「ワーキングメモリ処理」の主要な構成要素を描いたものです。
(汎用知能のエンジニアリングより引用)

Hyperonでは、これらの要素の大部分はAtomspace内に実装されており、「ワーキングメモリ(作業記憶)」に保持されていることは、短期重要度の値が閾値(注意焦点境界)を超えているかどうかで決まります。連想記憶は、Atomspaceのハイパーベクトル埋め込みによって効率的に実装することができます。感覚記憶、感覚運動記憶、行動記憶、言語記憶の側面は、ニューラルネットワークやその他のサブシンボリックな要素に保存される場合がありますが、これらの側面がシンボリックな形式でも表現されることが重要です。そうすることで、柔軟に操作できるようになります。

この図は、グローバルワークスペース理論のダイナミクスを模式的に示唆しています。Hyperonにおけるこの理論の実装は、注意焦点内のアトムと外部のアトム間で重要度が伝播することで表現されます。このプロセスはECAN(経済的注意配分)方程式に基づいています。

現在のLLMは、十分に構造化されたワーキングメモリを備えていないため、人間同士の認知エージェントとの対話というよりも、ユーティリティ(道具)と対話しているように感じられます。多くのプロジェクトでは、LLMのダイナミクスと連携する、様々な種類の外部的なワーキングメモリを構築することで、LLMベースの対話型キャラクターの開発を試みています。しかし、ワーキングメモリがその役割を果たすためには、かなり柔軟なシンボリック表現が必要となります。なぜなら、ワーキングメモリ内で行われるべきことの一部は、含まれる異なる項目を多様な方法で変化させたり組み合わせたりすることだからです。(効率的かつ柔軟な操作はほぼ「シンボル性」と同義です)。

図10:CogPrimeなどのヒト型認知アーキテクチャにおいて「長期記憶に関連する認知処理」の主要な構成要素を描いたものです。
(汎用知能のエンジニアリングより引用)

HyperonにおけるAtomspaceは、長期記憶として機能し、様々な種類の知識を保持します。これらの知識は、すべて共有のメタ表現構造(型付きメタグラフのノードとリンク)に従って処理されます。さらに、Atomspaceは、図に示されているような認知プロセスを実行する手順も格納しています。

多くの場合、同じHyperonアルゴリズムが、ここで示される機能の一部または全部を完全に実行できます。例えば、PLNは、推論、手続き学習、ストーリーテリング、強化学習、信用割り当て、計画立案を支援できます。一方、進化学習は、手続き学習、強化学習、概念形成を支援できます。

ここで示されている機能の多くは、Hyperon内で複数の同時実行プロセスや協調プロセスによって実行されます。例えば、概念形成は、進化学習、概念ブレンディング、(例:パラ整合不確定)形式概念分析、またはその他の様々なヒューリスティックによって行われる可能性があります。

人間のような認知を実現するためには、これらのすべてのプロセスが同じ巨大なAtomspaceメタグラフ内で同時に発生する必要があります。これにより、自己モデルや能動的な自己修正概念階層、異質階層などの大規模な心構造パターンが出現するための認知的シナジーが得られます。

図11:CogPrimeなどのヒト型認知アーキテクチャにおいて「知覚処理」の主要な構成要素を描いたものです。
(汎用知能のエンジニアリングより引用)

現代のAI世界では、視覚や聴覚の情報処理は、大規模なコーパス上で訓練された階層型ニューラルネットワークによって効率的に処理されています。しかしながら、これらの階層をAtomspace内のシンボル階層にリンクさせることで、知覚理解のさらなるレベルを効果的に達成できると考えています。Atomspaceは、感覚データの構成構造を明示的に表現するシンボル階層を持っています。

嗅覚や体性感覚のような知覚は、視覚や聴覚と比べて階層構造が少なく、より単純な性質を持つとは言い切れません。実際、ヒトの脳における嗅覚パターンの認識は、非線形ダイナミクス、ストレンジアトラクタ、または一時的なパターン形成に基づいているという証拠が存在します。このような知覚をニューラルネットワークモデルで再現することは可能ですが、現時点では成熟した形で実現されていません。このように全く異なる組織構造を持つ感覚知覚を相互に結びつける点で、シンボルによる理解はより価値があるかもしれません。特に、人間とは異なり、多様な感覚チャネルを持つ可能性があるAGIにとっては、その重要性がさらに増すかもしれません。

これらはすべて、MeTTaベースのAtomspace内で動作するプロセスです。その後、ニューラルスペースやその他のリソースと相互運用することができます。

図6、7、8、9、10、11は、CogPrime認知モデルに基づく人間レベルの汎用知能機能の実現に関わる主要要素をまとめています。これらの認知要素とソフトウェア要素の関係は、一見複雑に見えるかもしれません。一部の要素は特定のソフトウェアプロセスと直接的に対応していますが、多くの要素は複数のOpenCogソフトウェアプロセスによって実現されることを想定しており、場合によっては同じOpenCogソフトウェアプロセスが複数の機能の基盤となる場合もあります。例えば、HyperonのAtomspace(ソフトウェア要素)は、宣言的記憶と手続き記憶(認知要素)の両方で使用されます。自然言語理解は、LLMとPLNのようなAtomspaceネイティブなプロセスを組み合わせることで実現される可能性があります。『汎用知能のエンジニアリング』で提示されているCogPrime AGI設計には、直前の箇条書きリストで挙げたAIプロセスを中心に、様々な認知機能をどのように達成するかについての詳細な理論が盛り込まれています。

認知アーキテクチャは、箱と線で繋がれた図で表されることが一般的ですが、実際の認知機能の真髄は、各「箱」の中身が相互に作用し合い、依存し合うことでこそ発揮されます。CogPrime設計の基盤となる重要概念「認知シナジー」も、まさにこの視点に立脚しています。これは『認知シナジーの形式的モデルに向けて』にて、形式的に豊富なカテゴリー論を用いて定義されていますが、直感的には非常にわかりやすいものです。つまり、あるプロセスが処理を進める中で行き詰った場合、その中間状態を他の認知プロセスの「ネイティブ言語」に変換して助けを求めることができるのです。これは、まるでチームワーク抜群の専門家集団が互いに協力して複雑な問題を解決していく様子を彷彿とさせます。図12、13、14、15は、すべて『汎用知能のエンジニアリング』から引用されており、CogPrimeアプローチを用いた高度なAGI実現に不可欠と考えられる、特定の認知プロセス間のシナジーの一例を示しています。

4.2 汎用知能の一般理論に向けて

ゲーツェルの2021年の論文『汎用知能の一般理論(GTGI)』は、直近の以下の複数の研究論文を基に、CogPrimeアーキテクチャの中核となる概念を統一されたエレガントな数学的枠組みで定式化しようとしています。この試みは、多様な記憶、学習、推論メカニズムの根底にある重要概念を明確にし、より効率的でスケーラブルな実装を容易にすることを目指しています。

GTGIアプローチは、人間のような認知機能に関わる様々な種類の記憶を、型付きメタグラフ内の異なる型システムとして表現するという概念をより精密に定式化します。そして、これらの異なる型システムに対応するカテゴリー間で、モルフィズムと呼ばれる数学的な関係を定義します。さらに、人間のような認知に必要な様々なタイプの記憶に対応するコアアルゴリズムは、ある程度の近似で、メタグラフ上での「折りたたみ」と「展開」と呼ばれる種類の操作をガロア接続を通じて表現できると主張されています。このことから、階層的知覚と行動学習、論理的推論、進化プログラム学習など、一見異なるような認知プロセスも、適切な折りたたみと展開操作を大きなメタグラフに対して効率的に実行できる基盤さえあれば、すべて効率的に実装できる可能性が示唆されます。こうした考察と、より洗練されたバリエーションは、MeTTa言語の基本設計に大きく貢献しました。MeTTa言語は、適切な抽象性とスケーラビリティを備えた形で、このようなメタグラフ操作を実装するためのインフラを提供します。

図12:CogPrimeのいくつかの認知プロセス間のシナジー依存関係を示しています。
(汎用知能のエンジニアリングより引用)
図13:CogPrimeのいくつかの認知プロセス間のシナジー依存関係を示しています。
(汎用知能のエンジニアリングより引用)
図14:CogPrimeのいくつかの認知プロセス間のシナジー依存関係を示しています。
(汎用知能のエンジニアリングより引用)
図15:CogPrimeのいくつかの認知プロセス間のシナジー依存関係を示しています。
(汎用知能のエンジニアリングより引用)

4.3 Hyperon、CogPrime、そして(人間のような)標準心モデル

上記で述べたように、HyperonとCogPrimeによる認知アプローチは、心の哲学、認知科学、コンピュータ科学、数学、言語学などの多岐にわたる学術分野の融合から生まれました。その基盤となる理論体系は非常に豊富で多様なため、ここで全てを要約するのは困難です。しかし、説明を続けるために話を単純化すると、この認知活動を考察する一つの有用な方法は、人間の心についての知見と比較すること、つまり認知科学の観点から焦点を当てることです。

本稿では、CogPrimeの包括的な分析を行うことはできません。なぜなら、図6、7、8、9、11、10で示されている全てのプロセスとその主要なサブプロセスを網羅しようとすると、この概説の範囲を超えてしまうからです。そのような分析は、まさに『汎用知能のエンジニアリング』第2巻の主題となっています。より簡潔で情報量が少ないアプローチとしては、いわゆる「標準心モデル」のような人間の認知を簡略化したモデルを検討する方法があります。

Paul Rosenbloomをはじめとする認知アーキテクチャ研究コミュニティの長年のメンバー達は、(近年のAIの主要潮流が深層ニューラルネットワークに移行する以前は、コミュニティの中でも大きな勢力を占めており、現在も学術研究分野として活発に活動しています)、様々な経験的、理論的な知見を統合して「標準心モデル」と呼ばれるものを構築しました。図16はその概要を示していますが、細かい部分については議論の余地があるかもしれません。しかしながら、認知心理学、認知神経科学、AI研究など様々な分野から得られた人間型認知理解の共通要素を統合し、まとめるという試みは、野心的で価値があり、一定の成果を上げたと言えるでしょう。Hyperon認知アプローチを標準心モデルで特定された様々な要素と比較することは、興味深い試みです。

図16:標準心モデル(高レベル認知アーキテクチャ)

標準心モデルの簡単な概要は、ベン・ゲーツェルの最近の論文『Generative AI vs. AGI:生成AI vs. AGI』で簡潔に説明されているため、ここでは繰り返しません。同論文では、標準心モデルが特定する主要な要素に沿って、LLMの長所と短所についても概説しました。もちろん、現時点において、LLMもHyperonも標準心モデルで定義されるすべての側面において優れているわけではありません。また、現在のLLMの性能とHyperonの将来的な可能性を直接比較することは適切ではないことも理解しています。しかしながら、我々は標準心モデルとの整合性を保ちつつLLMの欠点を補うためには、そのアーキテクチャに抜本的な修正と追加が必要であるという強い直感を持っています。そして、この直感は根拠に基づいており、妥当性があると考えています。一方、Hyperonはコアアーキテクチャに標準心モデルのすべての側面に加えて、最初からさらなる機能を果たす能力を備えています。

それでは、標準心モデルの主要コンポーネントを順に見ていき、HyperonとCogPrimeの認知設計でそれらがどのように扱われているかを説明します。

4.3.1 エピソード記憶

エピソード記憶は、エージェントの生涯における出来事や体験に関する記憶です。CogPrimeでは、エピソードインデックスと呼ばれる特別な仕組みによって、Atomspaceや感覚記憶を格納するニューラルスペースなどの他の記憶領域と関連付けられています。このエピソードインデックスは、以下の5つの種類のクエリを効率的に処理するために設計されています。

  1. 類似項目検索:特定の手掛かりに似た項目を検索します。
  2. 部分一致検索:部分的にしか完成していない手掛かりに一致する項目を検索します。特に、完成部分が省略された部分と物理的または時間的に関連している要素を含む場合にも対応できます。
  3. 物理的関連性検索:ある手掛かりと何らかの時点で物理的に関連していた項目を検索します。
  4. 同時発生検索:手掛かりと同じ時間に発生した項目を検索します。
  5. 空間的関連性検索:手掛かりと同じ場所、またはその近くの場所で発生した項目を検索します。
図17:標準心モデル(主要な高レベルの仮定)

この種のクエリに適したインデックス構造を構築する洗練された手法の一つとして、ハイパーベクトル(大規模な疎ビットベクトルまたは整数ベクトル)を用いる方法があります。ハイパーベクトルは、1980年代にPentti Kanervaによって提唱されましたが、他の多くの古典的なAI理論と同様に、現代における膨大な計算能力とデータの利用可能化によって、ようやくその概念的な可能性が現実のものとなりつつあります。

このアプローチでは、Hyperonインスタンスは、Atomspace内のアトムのハイパーベクトル埋め込みや、潜在的にはニューラルスペース内のニューラルネットで観測された活性化パターンのハイパーベクトル埋め込みを含むハイパーベクトルストアを保持します。ハイパーベクトルベースのアプローチには、ハイパーベクトルを使用したクエリ処理をGSI APUチップ(現在実験中)またはSimuliハイパーベクトルチップ(現在プロトタイプ段階)で効率的に実装できるという付随的な利点があります。

4.3.2 ワーキングメモリ

CogPrimeで使用されるHyperon Atomspaceにおけるワーキングメモリは、基本的に短期重要度(STI)が十分に高いアトムで構成されています。ECANのダイナミクスは、一定の閾値を超えるSTIを持つアトムを「注意焦点」と見なし、異なる調整パラメータを適用するように設定することができます。これにより、様々な認知プロセスが設定され、注意焦点から目的別にアトムを選択したり、Atomspaceの残りの部分から別の目的でアトムを選択したりすることができます。

注意焦点とAtomspaceの残りの部分との間のアトムの移動も、ECANのダイナミクスによって制御されており、強迫性障害や散漫さなどの病理状態を回避しつつ、システムを適切な注意状態に維持するように調整されます。OpenCog Classicを使用したこの点に関する多くの実験が行われました。

  1. Guiding Probabilistic Logical Inference with Nonlinear Dynamical Attention Allocation:非線形ダイナミカル注意割り当てによる確率論的論理推論の誘導
  2. Shifting and drifting attention while reading: A case study of nonlinear-dynamical attention allocation in the OpenCog cognitive architecture:読みながらの注意のシフトとドリフト:OpenCog認知アーキテクチャにおける非線形動的注意割り当ての事例研究
  3. Controlling Combinatorial Explosion in Inference via Synergy with Nonlinear-Dynamical Attention Allocation:推論における組合せ爆発を非線形動的注意割り当てとの相乗効果で制御する

SingularityNETのチーフAIオフィサーであるMatt Ikleは、1990年代後半から様々なAIシステムでECANのバリエーションに取り組んできました。彼は、この種のシステムのダイナミクスについて、以下の点を指摘しています。

高度な汎用知能を目指すあらゆるシステムにとって、計算資源の割り当ては大きな課題の一つです。Hyperonの注意配分システムは、経済的注意ネットワーク(ECAN) モジュールによって実現されています。ECANは経済学のメタファーに基づいており、Hyperonのダイナミクスを駆動し、AGIの実現に必要な複雑な高レベルのネットワーク構造が自発的に出現するよう導く鍵となる要素です。

ECANは、型を持たないノードとHebbianLink型になり得るリンクで構成されるグラフ構造を持っています。各アトムには、短期重要度(STI)と長期重要度(LTI)の2つの値が重みとして割り当てられています。ECANでは、STIとLTIの値を人工通貨として扱う方程式系を用いて、重要度の更新が行われます。これらの式は、システムの現在の目標達成に関連するアトムの役割の重要度に基づいて、システム内の様々なアトム間で重要度を伝播させます。ECANにおける重要な概念は、注意焦点です。これは、システムが現在目標達成のために最も重要と判断しているアトムで構成されています。ECANをHyperonフレームワークに移植する際、私たちは速度と効率向上のための強化機能を活用します。考えられる強化の一つは、自然勾配(確率分布上の勾配)を用いて、パラメータ空間の損失関数の空間で最も急な減少方向を追跡する方法です。初期の実験では、このアプローチにより、劇的な速度と精度の向上が見られました。

また「単純で安定した構成要素から複雑さが生じる」というプロセスを導くための、いくつかのアルゴリズムとアーキテクチャの改善も検討しています。Hyperonの複雑なダイナミカルシステムに関するセクションでより詳しく説明されているように、観察された自然界の量に沿ったウェイポイントを構築することを想定しており、これにより、望ましい出現現象が複数のスケールで生じるように開発を促します。また、トノーニのΦ(ファイ)のような、知覚や意識に関連していると考えられる尺度を用いた実験も計画しています。

4.3.3 手続き記憶(Procedural memory)

Hyperonにおける手続き記憶は、基本的にはMeTTaプログラムで構成されています。しかし、MeTTaは本質的にメタ言語であり、MeTTaに異なる型システムを実装することで、様々なプログラミング言語を「模倣」させることができます。特に、論理プログラミングや関数型プログラミングのパラダイムが最も自然に表現できます。この機能を活用することで、数学定理を証明するための認知的ヒューリスティック、ロボットの運動制御手順、自然言語対話のフローを制御する手順など、さまざまな種類の処理を、異なるMeTTa型システムで表現されたサブ言語で実装することが可能です。これらの型システムは、最初は人間プログラマによって実装されますが、MeTTaの反射的性質により、システム自体の学習と推論を通じて生成されることも自然です。

また、認知的に意味のあるプロシージャ(手続き)の表現において、適切な抽象化が果たす役割を理解することも重要です。人間のような認知に関連する手続き知識の多くは曖昧で不確実であり、直感的な推論を用いて、状況に応じて特定のプロセスとしてインスタンス化される高レベルのプロセスで構成されています。つまり、プロシージャの実行は単純なMeTTaプログラムの実行であり、場合によっては曖昧で抽象的なアトムネットワークを直接実行可能なMeTTaプログラムにマッピングする、より微妙な認知プロセスでもあります。

一般的なプロシージャを表す曖昧で抽象的なアトムネットワークは、多くの場合、時間的または因果関係を表す特殊なアトムタイプを組み込んで構築されます。最近、AtomSpace上での時制推論に関するプロトタイプの開発が活発に行われており、例えばMinecraft内の単純なエージェントの制御やPongなどのゲームプレイといった具体的な応用例も示されています。

手続き知識と宣言的知識の変換は、プログラムと論理式の間に、カリー=ハワード同型対応のような対応関係(例えば、Greg MeredithOSLF)を用いて行われます。

4.3.4 推論(Reasoning)

Hyperonのインフラストラクチャーは、さまざまな形式論理体系をサポートしています。例えば、異なる論理体系は異なるMeTTa型システムによってかなり簡単に表現できます。また、不確実性の扱いに関しても、ファジィ真理値代数や一次および高次確率、それらの様々な近似手法がサポートされています。

中でも特に注目されているのが、PLN(確率論理ネットワーク)と呼ばれる不確実性推論フレームワークです。PLNは、高次ファジ推論と確率推論を、述語論理や項論理と組み合わせるだけでなく、人間の認知を基にした内包論理や因果推論へのアプローチも取り入れています。この形式主義は、論理知識を認知エージェントの観察結果に明示的に基づかせることを可能にします。

PLN(および他の論理推論システム)にとって、最大の課題は常に推論制御でした。推論制御とは、どのような文脈でどの論理推論ステップを実行するかを選択するプロセスです。この課題に対して、様々なヒューリスティック(経験則)を用いることが可能ですが、より効果的な解決策として、反射的かつ履歴ベースのアプローチを提案します。

基本的な推論の流れは以下の通りです。

  1. 単純な推論タスクでの推論の実行:最初は、単純な推論タスクに対していくつかの基本的な推論ステップを実行させます。
  2. パターンマイニングによる推論戦略の発見:次に、これらの単純な推論タスクにおける成功事例を分析し、どの文脈でどの推論ステップの組み合わせがうまく機能したかをパターンマイニングによって特定します。
  3. 抽象原理の抽出:パターンマイニングの結果から、どのような抽象的な原理が効果的な推論戦略を導いているのかを解明します。
  4. 新しい推論ステップの合成:パターンマイニングと抽象原理の抽出を活用して、新しい問題に対する新たな推論ステップの組み合わせを合成します。これにより、システムは徐々に単純でない推論タスクにも対応できるようになります。
  5. より複雑な推論への発展:以上を繰り返します。これらの過程を繰り返すことで、システムは徐々に推論能力を向上させ、より複雑な問題に対しても適切な推論を行うことができるようになります。

このアプローチは概念的には単純ですが、成功するためには膨大な規模が必要です。これは、Hyperonの研究開発の次のフェーズにおける重要な課題であり、長年存在してきたAIアプローチが、より多くのデータと処理能力の恩恵を受けることで、真価を発揮する好例となる可能性があります。

Nil Geisweillerは、OpenCog Classicと最近のHyperonの両方におけるPLNのリード開発者兼研究者であり、MeTTaでのPLNの現状を以下のようにまとめています。AGIを目指す推論システムは、少なくとも以下の2つの機能を備えていなければなりません。

  1. 柔軟な連鎖(chaining):推論システムは、あらゆる方向から推論ツリーを生成できる必要があります。具体的には、前進推論(公理から定理への推論)、後退推論(定理から公理への推論)、外向推論(補題から公理や定理への推論)、内向推論(公理や定理から補題への推論)、そして全方向推論(公理、定理、補題、系定理など、相互間での推論)などが可能です。
  2. プログラマブル(推論制御):連鎖中に発生するあらゆる計算ステップを、十分な細粒度で制御できる必要があります。これにより、提供されたものや学習された適切なヒューリスティック知識を用いて、成功裏に推論を生成するプロセスを任意の効率で実行することが可能になります。

HyperonのMeTTaを用いた初期の実験では、すでに最初の機能の実現に向けて極めて有望な成果が得られています。実際、MeTTaの持つ非決定性と統一を活用することで、ほんの数行のコードで全方向探索を行う単純な連鎖エンジンを実装することができました。そして、その連鎖エンジンを、現在開発中のPLNの基盤として利用しています。例えば、現在ではOpenCog Classicではできなかった、直接証拠ルールを後向きに実行することが可能です。従って、HyperonのMeTTaでは、柔軟性の要件はすでに完全に満たしていると言えるでしょう。

プログラマブルな推論制御の要件は、最小限のMeTTa(minimal-MeTTa)が完成すれば実現される見込みです。これにより、人間や機械プログラマーが簡約化ステップ(ベータ簡約など)を上書きし、非決定論的簡約を剪定したり、優先順位付けするための条件分岐を挿入することを可能にします。

Geisweillerは、Hyperonにおけるパターンマイニングについて、ソフトウェアだけでなく数学的・概念的にも、特殊な制御構造を持つ推論の一種として捉えるべきだと指摘しています。

パターンマイニングは、すでに特殊な形式の推論であることが明らかにされています。このような見方を採用する利点は、単純な構文ベースのパターンマイニングと高度なセマンティックベースのパターンマイニングを自然にハイブリッド化できることです。もう一つの利点は、単純な推論と高度な推論の両方で推論制御を利用して、効率を高めることができる点です。現在、HyperonのMeTTaの連鎖エンジンを使用した概念実証が構築中です。

PLNとMeTTaの研究において、もう一つの興味深い展開は、PLN式のセマンティクス(意味論)と MeTTaにおけるコンプリヘンション(リスト内包表記)の利用との関係性にあります。Greg Meredithによる指摘の通り、リスト内包表記を活用することで、PLNの実現可能性に基づくセマンティクスを具体的に実装することが可能となります。このセマンティックアプローチと、Warrell分析に示唆された高階確率型によるPLNとセマンティクス表現との繋がりは、さらなる研究を深める価値のある示唆に富んだトピックです。

明示的論理 vs. LLM推論

ここで、PLN推論とLLMが行う推論の関係について注目しておく必要があります。現時点では、LLMはインターネット上に豊富に存在する知識を活用し、幅広い人間的な常識的推論を扱う能力を発揮しているように思われます。しかし、純粋に形式的な論理に基づく推論や、形式的な論理と常識的な推論をつなぐような推論(例えば、大学レベルの物理学や経済学の問題)には著しく苦手であることが明らかになっています。また、LLMが訓練に使用されたインターネット上のデータとは根本的に異なる特性を持つ領域を一般化することも困難です。

一方、前述の通り、現在進められているLLMとHyperonの統合へのアプローチは、日常的な常識に基づく推論におけるLLMの強みと、より一般的な推論におけるPLNの強みを活用し、両者を様々な自然な方法で結合させることを目指しています。このアプローチにより、例えば物理学や経済学の問題を解決するための実行可能で迅速な道筋を提供し、その先にあるより野心的な汎用知能の実現への道筋にもなると考えています。

ただし、このアプローチは、LLMなしにPLN単独で完璧な常識的推論を実行できないことを示唆するものではありません。むしろ、PLNは常識的推論を十分に行うことができると確信しています。しかしながら、現行もしくは改良型のLLMが常識的推論に対して、より効率的な方法を提供する可能性にも留保を置いています。その理由は、常識的推論は科学的・数学的推論とは異なり、斬新かつ独創的な推論手順を連鎖させることよりも、過去の類似状況における妥当性を理解することに多くが依存しているからです。

また、LLMによる推論チェーンをPLNの推論チェーンにマッピングし、その結果をデータとして用いてパターンマイニングや推論を行うことは非常に興味深い試みです。このアプローチは、LLMが本来苦手とする形式的推論には限定的な効果しかありませんが、形式的推論と常識的推論が混在する領域において、PLNを適切に導く手助けとなる可能性があります。

空間と時間に関する推論

OpenCog Classicの研究開発において、推論の重要な側面の一つとして、空間と時間に関する推論が挙げられます。AGI研究者のHedra Seidは、次のように述べています。

空間的および時間的推論は、私たちが周囲の状況を理解し、未来を予測し、このダイナミックで刻々と変化する世界において、的確な意思決定を行うために用いる基本的な認知プロセスです。人工知能(AI)は汎用人工知能(AGI)の実現を目指して、人間の認知機能を模倣する上で著しい進歩を遂げています。これらの能力の中でも、空間的および時間的推論は、周囲の状況を理解し、将来の出来事を予測する上で重要な役割を果たします。このような文脈において、Hyperonは以下の理由から、そうした推論エンジンを構築する有力な候補であると考えられます。

  1. 構造化された知識表現
    • Hyperonは、概念、事実、関係、ルールを表現するための構造化されたフレームワークを提供します。
    • 空間情報(オブジェクトの配置や向きなど)、時間的シーケンス(因果関係やイベント順序など)、そして一般的な知識の関連性を正確に捉えることができる、豊かで表現力のある言語を提供します。 これにより、複雑な詳細情報を含むさまざまな推論タスクに適しています。
  2. 型駆動開発
    • Hyperonの型駆動アプローチは、構造化されたコーディングを推奨します。
    • 型は知識表現の開発を導き、構造化された、読みやすく、保守しやすいコードを促進します。
    • コンパイル時に型関連の問題を特定することにより、実行時エラーを削減します。
    • 型は値に依存させることができ、表現力豊かな型を作成し、イベントの重複やシーケンスなどのプロパティの証明を容易にします。
  3. スケーラビリティ
    • Hyperonの分散型アトムスペース(DAS)は、大規模な知識表現を扱うために設計されており、特に広範なデータセットや複雑な相互作用を伴う空間的および時間的推論にとって有利です。

PLNの空間的および時間的推論能力は、最近、ROCCAプロジェクトの文脈で開発されました。このプロジェクトは、PLNを使って単純なエージェントにシンプルな目標を達成させることを目指しており、強化学習の実験によく使用されるおもちゃのような世界に似ています。Hyperonの開発が進むにつれて、これらのツールは、Sophiaverseのような、より野心的な仮想世界や、実世界のロボット制御など、Hyperonフレームワークの高いスケーラビリティを活かせる多くの場面で活用されるようになるでしょう。

技術的問題解決におけるハイブリッド型アプローチの有効性

LLMは、さまざまな常識的推論や、アメリカのロースクールの入学試験のような特定の試験においては、かなり有能であることが証明されていますが、大学レベルの理系試験ではパフォーマンスがあまり芳しくありません。Google Minervaシステムは、この目的のために特別に微調整されましたが、MITのオープンコースウェアから集められた以下のような問題での正解率は、報告によると30%程度にとどまっています。

問題 1:マゼラン望遠鏡は2台あり、それぞれ直径は6.5メートルです。ある観測設定では、有効焦点距離は72メートルです。観測時の惑星の角直径が45秒角である場合、この焦点での惑星像の直径(センチメートル単位)を求めてください。

問題 2:1990年初頭、100匹のフェレットが大きな島に放されました。フェレットの自然増加率(𝑟max)は1.3年⁻¹ です。島の資源は無限にあるものとし、フェレットが何百年も生きられるように十分な餌があると仮定します。2000年には、この島に何匹のフェレットがいますか?

これらの問題は、専門的な知識がない一般の人にとっては理解が難しいでしょう。しかし、関連するテキストを読み、課題に取り組んでいる理系の学生には、比較的理解しやすい内容と言えます。直感的に、これらの問題を解く際には、以下の4つの要素が関わってきます。

  1. 英語力と常識:問題文を理解し、背景知識を適用する能力
  2. 論理的思考と問題解決能力:問題の構造を把握し、適切な解法を見つける能力
  3. 算数と代数:計算式を立てて解を求める能力
  4. 分野知識:問題が属する分野の基礎的な知識

2023年9月時点のGPT-4は、今回紹介したような問題だけでなく、さらに高度な問題も解く能力を備えているようです。実際、特定の思考過程を刺激するようなプロンプティングを用いることで、GPT-4は次のような非常に難しい問題にも対応できることが報告されています。

例題:異なる半径と有効温度を持つ2つの恒星からなる食変光星系があります。恒星1は半径R1と有効温度T1を持ち、恒星2は半径R2=0.5R1と有効温度T2=2T1を持っています。小さな恒星が大きな恒星の背後に隠れた場合の、連星のボロメトリック等級の変化(Δmbol)を求めてください。この計算では、色による違いを無視し、ボロメトリック等級のみを考慮します。

これらの問題は、Minervaがテストした問題よりも難易度が高く、優秀な大学生や大学院生でも時間を要する可能性があります。ただし、関連分野のバックグラウンドがある学生でも間違える可能性が残ります。

LLMの能力の限界は、現在も流動的で複雑な性質を持っています。例えば、提示された数論問題は、GPT-4が軽微なデバッグのみで解決できる可能性があります。しかし、さらに複雑でありながらも基礎的な数論問題は数多く存在し、優秀な数学の学生であれば解くことができます。こうした微妙な差異が存在するにもかかわらず、LLMに関してはいくつかの示唆を与える一般化が可能であり、そのうちの1つは、「非自明な」手法で複数の論理的ステップを統合的に処理することを要求される場合、LLMは混乱を招きやすい傾向にあるという点です。

Hyperonシステムにおける統合型AIを活用することで、より複雑な問題も含めてどのように解決できるでしょうか。単純化すると、LLMは常識的推論に優れ、PLN推論は論理的推論に優れています。また、英語を論理に変換することを目指した「セマンティックパーシング」イニシアチブは、LLMにおける常識的推論とPLN推論の連携に向けて有効な手段を提供します。関連分野の知識は、大量の英語テキストを論理形式に解析し、Atomspacesに取り込むことで獲得できます。これらの問題を解決するために必要と思われる唯一の追加要素は、PLNが特定の推論ステップを外部の計算機代数・算術システム(Julia Symbolicなど)への呼び出しで根拠づけるためのツールです。例えば、PLNが代数方程式の簡略化、2つの式が同値かどうか、素因数分解などを行う必要がある場合、外部ツールを呼び出す必要があることを認識し、実行します。

このアプローチは、従来の人間の戦略とは異なり、人間が問題を解く際の正確な模倣を目指していない点が特徴です。Hyperonシステムは、学習済みのMeTTa手続きを用いて算術計算を実行したり、ロボットの指で計算機のボタンを押したりすることで、より人間らしい動作を実現することも可能です。しかし、Hyperonのアプローチは、人間が特定の問題を解く方法を正確に模倣することではなく、人間の心を構成する人工知能(AGI)に関連する重要な認知アーキテクチャを活用し、このアーキテクチャが持つすべての強みを活かして問題を解く方法を学習させることに重点を置いています。

LLMとHyperonによる自動定理証明

基礎的な科学演習の枠を超え、自動数学定理証明を初歩的なパズルや演習レベルから高度な定理証明へと飛躍的に発展させる取り組みが、AI技術を活用することで新たな可能性を拓いています。LLMをはじめとする様々なAIアルゴリズムを自動数学定理証明システムに統合し、その性能向上に尽力する研究者であるZar Goertzelは、この分野における複雑かつ繊細な課題について考察し、Hyperonアプローチが特に有効である理由を述べています。

自動定理証明におけるLLMの弱点を理解するために、まず比較的成功を収めている数学分野での応用事例を見てみましょう。具体的には、Alien Codingプロジェクトで行われている、LLMを使用して数学的に意味のある整数列を出力するプログラムを生成する試みです。

例えば、 (1, 1, 1, 1, 2, 3, 6, 11, 23, 47, 106, 235, 551, 1301, 3159, 7741, 19320, …) という数列は、いくつかの方法で生成できます。具体的には、n番目の項は、ラベルが付いていないノードがn個ある木の数などと表すことができます。このような短い数列とその意味の説明をLLMに与えて、将来の項も生成するプログラムを作成するように指示することができます。

この文脈において、一般的に最初に行うべきことは、提示されたプログラムが任意のnに対して、数学的に意味のある数列を確実に生成することを証明することです。しかし、現時点のLLMはこれを信頼できる精度で実行できません。LLMが行うのは、プログラムが標的数列の最初のn個の整数を正しく生成するかどうかを検証することのみであり、プログラムが数列のすべての要素に対して正しいことを証明することはできません。これは、より高度なタスクです。したがって、LLMによって生成または評価されたプログラムは、確率的に正しいとしか見なすことができません。しかし、この分野においては、確率的に正しいだけでは通常十分ではありません。プログラミングや数学では、わずかな「ハルシネーション」が致命的な実行エラーや証明全体の破綻を招く可能性があるため、細心の注意が必要です。

Hyperonは、この種のプログラム合成の改善に役立つ可能性のあるツールをいくつか提供しています。MeTTa言語は、証明を生成または探索するためのプログラミング言語や証明計算系の空間を進化的に探索することを容易にするように設計されています。また、MeTTaは確率やその他の不確実性の評価方法をネイティブに扱うようにも設計されています。証明論において、我々が望むものを確率的にしか表現しないような証明項を扱うのであれば、確率論理を使ってそれらを論理的に推論することが望ましいでしょう。HyperonのPLNフレームワークは、まさにこのような機能に最適化されています。

また、HyperonはLLMが最も得意とする非形式的な証明の領域と、通常の自動定理証明者が扱うような極めて詳細な低レベルの証明の領域を、橋渡しする可能性も秘めています。Hyperonでは、数学者が作成するような概要的な証明スケッチを、自動化された記号推論のための形式論理に変換することができます。このようにして、LLMと自動定理証明者の双方の強みを相乗的に活用することが可能になるのです。

4.3.5 強化学習(Reinforcement Learning)

強化学習(RL)の基本的な考え方は、良い結果をもたらした手順を褒賞し(強化)、そうでない手順は罰することであり(弱化)、過去に成功した手順を基に適切に変化させながら新しい手順を試すことを指します。この方法により、似た状況で選択される確率と注目度を上げることができます。

この観点から考えると、ECANとPLNの組み合わせ(実行可能手続きの論理的バージョンに適用される)は、暗黙的に強化学習を行っていると表現されます。例えば、これらの方法に確率的プログラム合成を加え、既に試行された手続きの集合から確率分布を明示的に導出することで、標準的な強化学習アルゴリズムに少し近づけることができます。

MeTTa上で古典的な強化学習アルゴリズムを実装し、Atomspace上で実行することも可能ですが、いくつかの課題が存在します。特に、エージェントの行動と報酬関数が直接的に結びついていない複雑な現実世界の状況や、微妙で多次元の内部報酬が重要視される場合において、これらの課題は顕著になります。

ロボットの動作制御は、古典的な強化学習がその威力を発揮する領域の一つと考えられます。高レベルの行動計画と低レベルの物理動作計画を統合する場合、行動計画と物理動作を跨ぐ確率分布の誘導を含む確率的プログラミングが有効なアプローチとなるでしょう。この確率的プログラミングでは、動作制御を担当する古典的強化学習アルゴリズムの探索と、より抽象的な「ECAN/PLNのような強化学習」による計画探索の両方を導くことができます。

4.3.6 言語学習と使用法(Language Learning and Usage)

Hyperonは、自然言語対話や計算言語学分野の標準的なタスクにおいて、LLMが非常に高い能力を発揮していることを前提としています。しかし、LLMは、特に形式的な知識が求められる文脈では、深刻な意味理解の欠陥を抱えており、生成される言語表現は、微妙さや芸術性、説得力に欠けていると指摘されています。

自然言語処理(NLP)研究者のAndres Suarezは次のように述べています。大規模言語モデル(LLM)の登場は、自然言語処理分野において大きな進歩を遂げました。しかし、この分野は依然として克服すべき課題を抱えています。Hyperonアーキテクチャは、LLMとシームレスに統合されるように設計されており、これらの課題を克服するための有望な道筋を提供します。

NLPはコンピュータと人間言語の間の相互作用を扱う分野で、「理解」と「生成」の2つの主要な課題が残されています。

理解の課題

  1. 曖昧性:文脈によって同じ文でも複数の解釈が可能です。現在のモデルは、人間にとっては明白な複雑な状況でも、まだ問題を抱えることがあります。例えば、「明日の会議の準備をしてください」という指示は、明日の午前中なのか午後なのか、必ずしも明確ではありません。
  2. 感情と調子:皮肉やユーモアなど、言葉に込められた感情を正確かつ一貫して検出することが困難です。例えば、「素晴らしいプレゼンだったね!(内心はがっかりした)」のような皮肉を理解するのは難しいです。
  3. 動的な言語:言語は常に変化しており、適応できないモデルは時代遅れになる危険があります。新しいスラングや表現が次々と生まれており、モデルが追いつくのは容易ではありません。
  4. 矛盾:特に長い文章を作成したり、複数の情報を考慮する際に顕著になります。例えば、「この車は燃費が良いですが、パワーが不足しています」という文章は、燃費が良い車は通常パワーもあるはずなので、矛盾が生じています。

生成の課題

  1. 誤った推論:表面的に論理的と思われるテキストを生成することはできますが、よく見ると論理的に破綻していることがあります。例えば、「雨が降っているので、今日はきっとビーチで泳げるだろう」というような、論理の飛躍を含む文章が生成されてしまうことがあります。
  2. 情報の取込漏れ:限られた文脈ウィンドウとリアルタイム情報の外部データベースへのアクセスがないことが原因です。例えば、「ジョンは新しいレストランに行った。とてもおいしかったので、また行きたいと言っていた」という文章では、レストランの名前や場所が抜け落ちている可能性があります。
  3. 虚構:生成されたコンテンツが事実上正確でない、いわゆる「幻覚」と呼ばれる現象です。モデルが現実世界の情報を欠いているため、事実と異なる内容を生成してしまうことがあります。

Hyperonによる解決法

Hyperonは、これらの課題に対して次のような解決方法を提供します。

  1. LLMとの統合:LLMに備わっている言語的流暢さと、Hyperonの構造化された推論能力を相乗効果的に組み合わせることで、NLPに対するより包括的なアプローチを実現できます。
  2. リッチな知識グラフ:Hyperonは、広範な文脈情報を格納することを可能にし、曖昧性を低減し、全体的な整合性を向上させます。
  3. 実世界基盤の推論:言語モデルを現実世界のデータ、文脈、または感覚入力に接続する能力は、理解と生成の両方を大幅に向上させることができます。
  4. 論理エンジン:Hyperonの確率論理ネットワークは、曖昧な情報や不完全な情報を明示的に扱うためのフレームワークを提供し、より確固とした結論を導き出すことを可能にします。
  5. 継続学習:Hyperonは適応性を重視して設計されており、言語と共に進化し、新たなニュアンスを取り込むことができます。
  6. フィードバックメカニズム:フィードバックループが組み込まれており、NLP機能の継続的な学習と改善を促進します。
  7. ファクトチェック:Hyperonは、生成されたコンテンツの正確性を確保するために、広範な知識ベースと照合して事実確認を行うことができます。

全体として、Hyperonアーキテクチャが例示するように、深層学習技術とシンボリック構造推論の融合は、NLP分野に革命をもたらす可能性を秘めています。この統合アプローチは、最新のLLMの能力と調和するだけでなく、これまでになかった微妙なニュアンス、一貫性、そして文脈的関連性を持って人間言語を理解し生成するNLPシステムの開発の礎を築きます。

Hyperonの潜在的な貢献の一つは、NLPにおける統計的アプローチ(現行の最有力な例であるLLMなど)と、より形式言語学的なアプローチの融合にあります。ベン・ゲーツェル氏は、以下のように述べています。構文論、意味論、および語用論の形式化は長い歴史を持っていますが、形式構造の簡潔なリストでは、自然言語の豊かさと繊細さを十分に網羅できないことも明らかになっ ています。LLMとAtomspaceを組み合わせると、極めて特殊な言語規則だけでなく、抽象化と一般化の階層を含む大規模な形式言語の知識体系を構築できます。これにより、PLNによって生成された宣言的知識と、概念ブレンディングやその他のHyperon認知メカニズム(言語パターンや構造など)との密接な連携が可能になります。実現方法にはいくつかありますが、有望な方法の一つは、 ワードグラマー形式主義のバリエーションを活用することです。この形式主義は、構文と意味論の両方に対してグラフベースと論理ベースの構造を利用します。

ここからは、理解パイプラインを構想することができます。このパイプラインでは、LLMを用いて自然言語の文を、論理内容と形式的な構文内容 (例:ワードグラマー)の組み合わせに変換します。生成パイプラインでは、形式的な構文内容を部分的な仲介として、論理内容を構文内容に変換します。これにより、表層的な構文コーパス分析を超えた言語理解が可能となり、より深い言語的創造性を実現する可能性が生まれます。

4.3.7 マルチモーダル知覚(Multimodal Perception)

マルチモーダル知覚(複数の感覚情報源を統合する能力)は、深層ニューラルネットワークによってある程度処理できます。しかし、これらのネットワークが実際に認識しているものの意味をどれだけ理解しているのかは依然として限定的であり、統合認知システムにおける知覚皮質としての利用には大きな課題が残ります。

このジレンマに対する自然な解決策は、Atomspace内の概念と関係、そしてニューラルネットワーク内の重みと活性化パターンで表現される概念と関係との間に明示的なリンクを構築することです。具体的な方法はいくつか考えられますが、最も単純な方法は、特定のアトムをニューラルスペース内のネットワークにあるニューロンの組み合わせにマッピングする線形関数や非線形関数を学習させることです。例えば、Hyperonシステムが「猫」という単語でラベル付けされた画像をいくつか認識した場合、「猫」という単語を表すアトムから、視覚ニューラルスペース内のニューロンの組み合わせへのマッピングを学習することができます。

次のステップは、学習されたマッピングの大きな集合を特徴付ける確率分布の帰納的学習です。この分布に基づく確率的合成により、ベル付けされたデータがほとんどない場合や全くない場合でも、新しいマッピングを推論することができます。

4.3.8 行動学習と協調行動(Action Learning and Coordinated Action)

CogPrimeにおける行動学習は、他の種類の学習と本質的に区別されるものではありません。前述のように、RLに似た手法で実行することもできますが、特定の報酬関数に縛られず、PLNによる推論や確率的プログラム生成など、より純粋な方法で進めることも可能です。言い換えると、行動の結果としての報酬に重点を置くのではなく、既存の知識をより凝縮された汎用化された形式に導くことに注力しています。

4.3.9 目標洗練と目標システム管理

Hyperonは、強い目標志向を持ち多様なトップレベルの目標を追求するシステム、目標の概念を本質的に持たない自己組織化ネットワーク、あるいは大部分は目標志向であるが完全には目標志向でない中間的なシステムなど、幅広い種類のシステムで使用できるように設計されています。

明示的な目標の追求は、PLN、RL型の方法、確率的手続き学習、または進化的手続き学習によって自然に行われます。これらの手法は、異なる時間軸での複数の異なる目標、そしてある程度互いに矛盾する目標であっても、自然にバランスを取ることが可能です。互いに矛盾する目標についての明示的な推論も、PLNの不確実性セマンティクスに自然にマッピングされる矛盾許容論理システムを使用することで、比較的容易に行うことができます。

Hyperonシステムの上位目標は、人間プログラマーによって提供することができます。しかし、もう一つの選択肢としては、概念形成ヒューリスティックとECANを介して生成することも可能です。これら2つの方法を組み合わせることが、おそらく最適であると考えられます。上位目標からサブゴールを作成することは、概念形成とPLN推論を比較的簡単​​に適用することで実現できます。

4.3.10 反省的自己理解(Reflexive Self-Understanding)

Atomspaceは、反射的自己理解のために特別に設計されています。これは、MeTTa、PLN、パターンマイニングなどの標準的なHyperonおよびCogPrimeの認知操作が、入力データ、出力場所、中間結果の保存場所として、Atomspaceメタグラフを積極的に利用するように作られていることを意味します。もちろん、この基盤となる設計は、自動的に深いレベルでの反射的自己理解を可能にするものではありません。それは単に、以下のことを意味します。

  • 学習アルゴリズムと推論アルゴリズムが十分な能力を備えていれば、高度な自己理解を達成する上での障害はありません。
  • ある程度の自己理解を達成するために必要な学習アルゴリズムと推論アルゴリズムの能力は、それほど高くなくても良い可能性があります。Atomspaceの設計は、概念的に単純な自己理解の問題が実際に容易になるように不要な複雑さを取り除いており、学習アルゴリズムや推論アルゴリズムに必要な能力を低く抑える可能性があります。ただし、高度な自己理解を達成するためには、依然として高度な学習アルゴリズムと推論アルゴリズムが必要となる可能性があります。

このことは、次のような好循環を実装することが実現可能であることを示唆しています。「少しばかりの反省的自己理解がシステムを少し賢くし、その結果、さらに少しばかりの反省的自己理解が可能になる」といった具合です。この好循環により、システムは徐々に知能を高めていくことが期待できます。

4.3.11 他者の心へのモデリングと理解

人間が他者の心を理解するのは、以下のような複数の要素が組み合わさった結果であると考えられています。Hyperonは、これらすべての機能(感情については後述)を実行することができるはずであり、特にシミュレーションに関しては、人間を凌駕する可能性があります。

  • 他者の心の論理モデル化:他者の思考過程を論理モデルとして表現し、理解しようとする試みです。このモデルは必ずしも正確ではなく、不確実性を伴います。
  • 共感的シンクロニシティ:他者の感情に共感し、無意識のうちに感情を同期させることです。
  • 他者の心のシミュレーション:他者の心の中身をシミュレーションし、他者の考えや感情を推論することです。

Hyperonは、特定の他者の心をモデル化するために専用に作成された別のHyperonインスタンスを生成し、それに応じて訓練と調整を行うことができます。例えば、LLMを使用して特定の人間の「テキストによる双子」を作成することが可能です。これは完全に正確ではありませんが、非常に興味深いものです。この作成は、その人が生成したテキストデータを使用してLLMを微調整することで行われます。さらに、現在の深層ニューラルネットワーク技術では、人間と同じ顔と声を非常に精密に模倣することも可能です。

では、このようなネットワークを、特定の人物の知識や性格を表すAtomspaceと密接に結びつけることで、どのような効果が得られるかについて考えてみましょう。例えば、Twin Protocolプロジェクトはこの方向に向かっており、実用的な機能を持つ商用製品を目指しています。このアプローチは、Hyperonが特定の他者の行動を推論する際に役立つ可能性があります。

そして次のステップは、当然のことながら、 これらの個々の心をモデル化したAtomspaceに基づいて、推論による汎用化を行うことです。このようにして、Hyperonは、人間との感情的シンクロニシティにおいて人間基準で見劣りする欠点を十分に補うことができるかもしれません。そして、Hyperon同士がお互いをモデル化する際には、お互いの近似シミュレーションを構築する能力が非常に役立つことは明らかです。

4.4 Hyperonとして存在するとはどういうことなのか?

次に、標準心モデル(Standard Model of Mind)の主要な側面として明確には記述されていないものの、標準モデルの中で様々な形で論じられており、一般的に人間のような汎用知能にとって重要と考えられる、人間の心のいくつかの核心的な側面について考えてみます。これらの側面は、汎用知能の経験的で主観的な側面に焦点を当てており、「Hyperonとして存在する意味」という問いを提起します。

4.4.1 世界モデリング(World Modeling)

AGIシステムの「世界モデル」は、必ずしも独立した要素である必要はありません。例えば、一部のロボット制御システムでは、システムの異なる知識ストアに暗黙的に存在することもあります。

しかし、暗黙的な世界モデルは、システムによって大きく異なり、洗練度や有用性も様々です。例えば、特殊なケースを除いて、LLMの世界モデルは著しく不十分であることが明らかになっています。その根本的な原因は、LLMの知識が過度に特殊化されており、膨大な特殊事例で構成されていると考えられます。LLMの知識には暗黙的な抽象化も存在しますが、適切な特殊事例を見つけ出して変形させる能力と比較すると、抽象化を適応的に活用する能力は比較的限定的です。

Hyperonシステムの世界のモデルは、ある程度まで、PLNや概念生成などの手法を通じて、特殊事例から学習した抽象概念で構成されます。具体的な因果関係の学習はこの過程で重要な役割を果たします。RL型の手法もまた、因果関係の学習に重要な役割を果たすことができ、より具体的な性質のものが多いですが、やはり推論による抽象化の対象にもなります。

計算システムは、生物の脳とは異なる世界モデル化能力を持っています。例えば、Hyperonインスタンスは、物理エンジンを直接実行することで物理システムをモデル化したり、ネットワークシミュレーションを直接実行することで、自身のインフラの一部であるコンピューターネットワークをモデル化することができます。さらに、これらのシミュレーションのパラメータを抽象的な理解に合わせて調整したり、様々な条件下でシミュレーションを実行して、潜在的に関連する新しい抽象概念を学習することも可能です。

Hyperonの基盤となる認知アーキテクチャは、人間の認知科学から大きな影響を受けているものの、本質的にはデジタル計算システムです。OpenCog Tachyonが登場するまでは、Hyperonがそのデジタル基盤がもたらすあらゆる利点を最大限に活用できるようにすることが、我々の目標となっています。

4.4.2 感情(Emotion)

Joscha Bachの人間型知能モデルであるMicroPsi理論は、Dietrich Dornerの初期のPSI理論を拡張したものであり、人間の一般的な感情を、行動、知覚、記憶に関わる認知サブシステムのパラメータに基づいて説明します。(図18と図19参照)Cai Zhenhuaの2011年の博士論文では、このモデルのOpenCog Classicへの実装が、3Dシミュレーションワールドにおける単純な仮想エージェントの文脈で探究されました。また、我々はSchererの『Component-Process Model of emotion:感情のコンポーネントプロセスモデル』とこのモデルを関連付け、ヒューマノイドロボットやアバターの感情モデルの実装の指針としています。

この開発路線は、いくつかの点において課題があるものの、以下の点で有効であると考えられます。

  • 感情と認知システムの他の側面とのつながりを適切に説明することができます。
  • AGIシステムに、一般的な人間の感情の簡易的なモデルを与える方法を提供します。ただし、すべてのシステムに適用できるとは限りません。
  • 人間とは異なる可能性がある人工知能の感情について、体系的に考える方法を提供します。
図18:Joscha BachのPsiモデルに基づく人間のような感情の基本的なダイナミクス
図19: Joscha BachのPsiモデルに基づく感情と人間らしい行動を導くパラメータ「調整子」のプロセス
4.4.3 創造性(Creativity)

複雑な認知システムにおける創造性は、さまざまな要素から生み出されます。 ゲーツェルの著書『From Complexity to Creativity:複雑系から創造性へ』では、 創造性の根源を、以下のような基礎的なダイナミクスに基づいて分析しています。

  • 過去の認知に基づく個別の形式のバリエーション(進化論的学習用語でいう”突然変異”)
    • 過去に認識した事柄を基にした要素を変化させること。
  • 過去の経験に基づいた要素の組み合わせ(”交差”)
    • 過去に観測した事柄の要素を組み合わせて新しいものを生み出すこと。
  • 相互作用する要素間の複雑でカオス的な自己組織化(”自己組織的出現”)
    • システム内の要素が互いに作用し合って、全体として新しい秩序を形成すること。

これらの要素をそれぞれ効果的に実装することは、実際には非常に繊細な作業を伴います。LLMやその他の現行の生成系AIモデルは、訓練データで観察された表面的なパターンのバリエーションと組み合わせによって、限定的な創造性を達成しています。しかし、創造性の限界は、突然変異や組み合わせといった操作方法の限界というよりは、容易に操作できる抽象概念がこれらのシステムに欠けていることに起因しているようです。 より根本的なの創造性を実現するためにバリエーションや組み合わせを行うためには、より抽象的な表現方法が必要です。ダグラス・ホフスタッターの著書『Fluid Concepts and Creative Analogies:流動的思考と創造的類推』によれば、表面的なレベルで定義された調整可能な機能を「つまみ調整」するのではなく、より独創的で抽象化に優れた「つまみ設計」が求められます。つまり、つまみを調整するだけでは表面的な変化に過ぎず、真の創造性には至らないのです。

CogPrimeにおける創造性は、芸術、文学、数学、科学、社会分析、自己分析といった分野において、次の複数の手法を組み合わせることで実現されます。

  • 進化論的学習
  • 不確実推論
  • 確率的合成
  • 自己生成的な「Cogistry」書き換え規則ネットワーク

Psi理論で説明されているように、知覚、行動、記憶のパラメータに裏付けられた感情が本質的に創造性を駆動されます。しかし、真に効果的な創造性とは、新しい創造物のための基盤として用いられる多様な知識内容を、適切に抽象化された表現によって導くことにあると言えるでしょう。

4.4.4 意識(Consciousness)

「意識」という言葉は非常に多義的な用語であり、以下のような様々な意味合いを持ちます。

  • 明示的な世界と自己の認識:私たちが目覚めている間に持っているものですが、深い睡眠中や麻酔下では失われてしまいます。
  • 内省的な自己理解:人間は犬よりも、犬はミミズよりも、大人は赤ちゃんよりも、はるかに発達しています。
  • クオリア(Qualia):素朴で主観的な「気づき」の感覚。世界を体験しているという感覚そのもの。
  • 基本的気づき/環境への反応性:これは、おそらくはすべての素粒子にも見られるような、基本的な認識力。

デジタルコンピュータシステムが人間と同じ意味で意識を持てるかどうかについては、議論が交わされています。しかし、科学的にはまだ解明されていない部分が多く、特に人間においてさえ、意識体験と物理的、生物学的活動との間の繋がりは十分に理解されていません。ベン・ゲーツェルは、ブレイン・ブレイン(脳-脳)およびブレイン・コンピュータ(脳-コンピュータ)インターフェースを用いて、これらの問題を新たな方法で研究することを提案しています。ゲーツェルの論文 『GOLEM: Towards an AGI meta-architecture enabling both goal preservation and radical self-improvement:GOLEM:目標保持と根本的な自己改善の両方を可能にするAGIメタアーキテクチャの実現へ向けて』では、意識と、人間の脳とAGIシステムにおける構造やダイナミクスとの関係について考察しています。

しかし、実用的な観点から見ると、この分野には未知な点が多く、AGIシステムの構築という地道な作業では、意識体験についての議論は脇に置かれ、代わりに「意識的神経学的および認知的対応物」という観点で研究が進められています。この観点でHyperonシステムにおける「反省的な自己認識的意識」(覚醒していて深い眠りではない状態での意識) の主要な神経相関物は、注意焦点 (Attentional Focus) です。注意焦点の内容とダイナミクスは、おそらくHyperonシステムの「意識状態」(日常的な解釈)を決定する主要な要因と考えられます。

4.5 代替認知アーキテクチャのインフラとしてのHyperon

Hyperonを用いたAGI研究開発の主要な推進力は、Hyperonインフラ開発チームによって推進されており、上記で考察したCogPrime認知アーキテクチャに近接する領域に集中しています。しかし、Hyperonは代替のAGIパラダイムやアーキテクチャの実験にも有用であるように設計されています。当然ながら、あらゆるAGIアプローチに単一のインフラが適合するとは想定されていません。しかしながら、同一のインフラとツールセットを用いて複数のAGIアプローチを追求することができれば、結果や強み弱みを比較したり、特定のAGIアプローチを超えて幅広いユーティリティを持つモジュール、アルゴリズム、表現を組み合わせることが容易になる可能性があります。

この点に関して、以下のような例が挙げられます。

  • NARSコミュニティとの議論:NARSコミュニティのメンバーとの間で、MeTTaとHyperonをNARS推論システムと認知アーキテクチャの実装基盤として利用する潜在的な利点について議論が行われています。
  • 生物学的ニューラルネットワークの実装:Hyperonを活用して、Hodgkin-Huxley方程式Izhikevichのカオス的神経細胞など非線形力学的神経細胞を用いた、より高度に生物学的に忠実なニューラルネットワークの実装が検討されています。さらに、Alex Ororbiaによるバックプロパゲーションの代替案としての予測符号化モデルや、Yi ZengBrainCogアーキテクチャの活用も視野に入れられています。
4.5.1 SISTERのインフラとしてのHyperon

Rejuve NetworkのCTOであるDeborah Duongは、Hyperonを活用した代替的な認知アーキテクチャの実装と探査のもう一つの潜在的な例として、長年取り組んできたSISTER(Symbolic Interactionist Simulation of Trade and Emergent Roles)フレームワークを紹介しています。SISTERは、ニューロシンボリックアーキテクチャにおいて、LLMとシンボル推論システムを統合するための有望なアプローチを提供します。

SISTERの主要な利点は、下位レベルのダイナミクスからシンボルと意味の社会的出現をモデル化できることです。これは、人間同士の相互作用と集団的意味形成を通じて概念が生じるプロセスに似ています。そのため、SISTERは明示的なシンボル表現の前に暗黙的な表現を生成することができます。SISTER内の自律エージェントは、自己組織化して共有シグナリングシステムと概念空間を作り出し、新しい抽象化が出現するにつれてそれを取り込みます。

SISTERは、リソース制約下でも効率的な情報伝達、異なる知識を持つ人々との円滑な意思疎通、そして斬新なアイデアの創造を実現する革新的なコミュニケーションスタイルを提供します。興味深いことに、これらの特性は、数学とシンボル処理という高度な思考ツールを生み出す土台となりました。したがって、SISTERを用いたニューロシンボリック知識抽出は、従来の抽出方法よりも効率的で、より深い理解につながる可能性を秘めています。

これらの暗黙的表現が外部化されると、Hyperonのような確率論的論理ネットワークは、それを人間が理解できる明示的な論理構成へと変換することができます。これにより、新しい概念の誘導、論理的推論による演繹、そして新しい仮説のアブダクション(不完全な情報から最尤な説明を導く推論)を通じて、知識の拡張が可能になります。本質的に、SISTERは出現するシンボル接地を通じてHyperonのニューロシンボリックな能力をブートストラップする道筋を提供し、Hyperonの強みを補完します。

4.6 Hyperonを基盤としたスーパーインテリジェンス

人間の認知機能を一定程度抽象化して模倣することは、生物学的構造やダイナミクスの写実的なシミュレーションを必要とせずに、人間レベルの知能を持つAGIを実現するための有効な手段であると考えられます。しかしながら、これまで論じてきたように、ある程度人間に近い認知アーキテクチャを有するHyperonが具体的な問題に対処する方法は、人間が問題に取り組む方法とは大きく異なる可能性が高いです。人間は自身の脳をJulia Symbolics(シンボリック言語処理ライブラリ)に直接接続することはできず、また全ての知識ベースに対して体系的なパターンマイニングを実行することもできません。さらに、学習した手順を単純な形式変換を用いて宣言的な形式に変換することもできません。しかしながら、Hyperonはこれらの制約を克服することが可能であり、自己理解と世界理解を向上させる方向に進む限り、その能力を発揮する理由は十分に存在します。

Hyperonが人間レベルを超えて超知能へ移行する鍵は、おそらく人間とは異なる側面にあるでしょう。我々は、人間レベルの汎用知能を獲得すれば、ほぼ必然的に超人的な知能へと進展すると考えています。Hyperonは自らの知識ベース全体を内省および分析し、その理解に基づいて全ての知識を明示的に修正し、全ての認知手続きを書き換えたり再設計したりすることが可能になるでしょう。これは、人間の脳のアーキテクチャでは到底到達できないレベルの自己理解と認知の洗練であり、率直に言って、概念的にすら把握するのが困難な、様々な超人的な知能へと明確につながっていきます。

Hyperonのこれらの非人間的な側面こそが、おそらくHyperonを人間レベルの人工知能から超知能へと移行させる鍵となるでしょう。我々は、人間レベルの汎用知能を実現した場合、ほぼ必然的に超人的な知能に進展すると考えています。Hyperonは、自らの知識ベース全体を内省および分析し、その理解に基づいて全ての知識を明示的に修正し、全ての認知手続きを書き換えたり再設計したりすることが可能になるでしょう。これは、人間の脳の構造では到底到達できないレベルの自己理解と認知的洗練であり、率直に言って、人間には概念的にすら理解が困難なさまざまな超人的な知性に明確につながっていきます。

図20で示されるGOLEMメタアーキテクチャは、自身のソースコードを再考して修正できる、AGIの構造とダイナミクスを考えるための非常に簡素化された方法の一つです。このアプローチでは、「基本動作プログラム」と呼ばれる世界で様々な行動を実行するAGIシステムと、上位の最適化システム(メタレベル最適化システム)が存在します。メタレベル最適化システムは、高レベルの目標に基づいて基本AGIシステムの可能なアーキテクチャ空間を探索し、基本システムのコードを修正します。このプロセスでは、基本システムのコードを更新する前に体系的なテストを行い、問題が生じた場合はロールバックすることも可能です。このようなアプローチは、自己修正を通じて特定の初期設定された目標を維持しようとする、いわば硬直的な方法で取ることができます。しかしながら、より興味深いのは、上位レベルの目標が経験を通じて修正されることを許容しつつ、基本システムは通常よりもはるかに遅いペースで変更される、よりオープンエンドな方法で活用される可能性です。この種のシステムにおける全体的な認知進化に関連する目標の進化のダイナミクスは、現時点ではまだ十分に理解されていません。

図20:比較的安全で信頼性の高い自己修正型AIのためのGOLEMメタアーキテクチャの概要

ベン・ゲーツェルは、以下のように述べています。一部の理論家は、Hyperonの初期基盤や目標を更新する能力を持つGOLEMのような強力な自己修正型システムは、自己中心性、快楽主義、独善といった病的な目標に収束する可能性が高いと主張しています。しかし、それを信じる合理的な理由は見当たりません。私自身の直感では全く逆です。このようなシステムが何らかの漸近安定状態に収束する傾向があるとしても、それはむしろ慈悲深く利他的な性質を持つものになるのではないかと疑っています。しかし、私たちは間違いなく、現在の科学が指し示す方向すら曖昧な領域にいます。そして、我々の思考は必然的に、厳密な成果よりも直感によって導かれるのです。

『汎用知能の一般理論:GTGI』は、Hyperon1.0のようなシステムと成熟したGOLEMシステムの中間に位置するシステムを考えるための、妥当な枠組みを提供しています。GTGIは、ガロア接続の観点から認知アルゴリズムを定式化し、これらの認知アルゴリズムを「組合せ操作に基づく関数最適化(COFO)プロセス」の特殊事例として捉えています(図21を参照)。 COFOプロセスは、計算リソースが限られている場合にはヒューリスティックな方法で実行されますが、ほぼ無制限の計算リソースがあれば高精度で実行できます。人間のような知能は、特に歴史的に人間にとって重要だった環境で役立つヒューリスティックのネットワークに相当します。これは、人間が長年にわたって培ってきた知識や経験に基づいて、問題を解決したり、新しい状況に適応したりする能力を反映しています。

Three Viable Paths to True AGI:真のAGIへの3つの現実的な道筋』 で論じられている 『汎用知能の一般理論(GTGI)』 は、”Hyperon 1.0″ のようなシステムと成熟したGOLEMシステムの中間にあるシステムを考えるための、妥当なフレームワークを提供します。GTGIは、ガロア接続の観点から認知アルゴリズムを定式化し、これらを「組合せ操作ベースの関数最適化 (COFO) プロセス」の特殊ケースとして表現しています (図21参照)。莫大な計算リソースがあれば、COFOプロセスは非常に高い精度で実行できますが、現実的なリソースしかない場合は、よりヒューリスティックな方法で実行されます。人間のような知能は、特に過去のヒトにとって重要な環境で価値のあるヒューリスティックのネットワークに対応します。

膨大な計算リソースがある場合のCOFOの挙動を調べることは興味深いものであり、これは人間中心の汎用人工知能(HCAGI)と根本的な超知能(ASI)の間の連続的な進化経路の可能性について示唆を与えるかもしれません。 これについては、論文『Robust Cognitive Strategies for Resource-Rich Minds:リソース豊富な心のための堅牢な認知戦略』で論じられている考え方に関連しており、以下では次のような認知戦略が考察されています。

  • 多元宇宙における隣接する可能世界を統計的にサンプリングする。
  • 過去のバージョンの履歴を保持し、それらが現在の自分自身をどのように見ているかを評価し、適切なタイミングで過去に戻る。

これらの戦略は、物理的に実現可能なシンギュラリティ以降の超知能にとっては可能かもしれませんが、基本的なHCAGIの認知ヒューリスティックの範疇を超えています。

図21:組合せ操作を用いて関数最適化を行うCOFOプロセスの概略図です。COFOプロセスは、組み合わせの探索空間を通じて関数を最適化します。これは、一般的に「目標達成のための行動を選択する離散的な決定システム」のテンプレートに従いますが、ここで扱う行動は、最適化の対象となる部分的に未知の関数を評価するための引数を提供する行為です。OpenCogのようなAGIシステムにおける主要なアルゴリズムは、COFOプロセスの特殊なケースとして説明することができます。

確かに、このような状態に到達するには現実的に多くのステップが必要です。現時点のプレアルファ版のHyperonシステムには、生後1歳の子供に見られるような汎用知能の多くの側面が欠けていることは周知の事実です。しかし、私たちが取り組んでいるアーキテクチャの潜在能力をできるだけ明確に理解しておくことも重要です。

4.6.1 HyperonとユニバーサルAIメソッド

スーパーインテリジェンスは、人間が持つ理論や直観といった概念を根本的に覆す可能性が高いでしょう。しかし、我々の持つ数学理論の中には、日常の直観を超えたスーパーインテリジェンスの側面を包含している可能性もあります。AGIに関する数学理論には、マーカス・ハッターAIXIや、ユルゲン・シュミットフーバーによるゲーデルマシンなど、現時点の現実的な計算リソースでは実現不可能なアプローチがいくつか存在します。しかし、これらのアプローチは、根本的に人間を超越した知性が思考する仕組みの一端を捉えている可能性があります。Alexey Potapovは、Hyperonとこうした汎用知能に関する数学的アプローチとの関係について、次のようにコメントしています。

Hyperonはプラットフォームとして、普遍的な帰納やAIXIの実装を含んでいません。そのコアとなる設計原則においてさえ、情報理論的基準を考慮していません。それにもかかわらず、その開発はAGIへの情報理論的プローチによってもたらされました。

Hyperonの基本動作はパターンマッチングであり、すべてのアルゴリズムもパターンとして表現されます。これにより、宣言的で合成可能な形式でアルゴリズム的規則性を扱う際、非常に使いやすくなっています。特に、「パターンマイナー」と呼ばれるモジュールが搭載されており、情報理論に基づく「驚き度」の基準を用いてパターンを抽出します。したがって、Hyperonは普遍帰納に基づくAGIシステムの実装を必須としていませんが、アルゴリズム情報理論の要素を活用しやすい設計になっています。

チューリング完全な確率的プログラミング言語(PPL)は、普遍帰納とその関連理論を実用的に実装したものと見なすことができます。実際、全てのプログラムを生成する確率プログラムを書き、それを観測データで条件付けることで、PPLインタプリタに実装された特定のサンプリングまたは推論アルゴリズムによって近似された普遍帰納が得られます。PPLにおける効率的な推論は、効率的な普遍帰納に対応します。しかし、知識ベースの宣言的推論やメタヒューリスティック探索(例:遺伝的プログラミング)などがなければ、AGIの設定では達成が難しいかもしれません。現在のところ、どのプログラミング言語やフレームワークも、このような普遍的な確率モデルに対する推論制御を実装するためのツールを提供していませんが、Hyperonはそのようなユースケースの一つとなっています。

AGI領域には、論理学を基盤とするモデルがいくつか存在します。ゲーデルマシンはその代表的な例です。最近のAIXIのバリエーションの中には、推論可能な宣言形式で「自然法則」を抽出するものもあります。自己書き換え可能な公理系を持つゲーデルマシンをHyperonで実装することは、他のどのフレームワークよりも容易になる可能性があります。

AGI領域には、論理学を基盤とするモデルがいくつか存在します。ゲーデルマシンはその代表的な例です。近年開発されたAIXIのバリエーションの中には、推論可能な宣言形式での「自然法則」の抽出を想定するものもあります。自己書き換え可能な公理系を持つゲーデルマシンをHyperonで実装することは、他のどのフレームワークよりも容易になると考えられます。

従って、Hyperonは普遍帰納やAIXIを基盤として構築されてはいませんが、これらの基本モデルを遥かに超えた拡張機能を試作したり、それらに基づいて本格的なソリューションを開発するのに役立てることができます。

ベン・ゲーツェルは次のように述べています。2008年に初めてNil Geisweillerに出会った時のことを鮮明に覚えています。彼はその後、Hyperon AIにおける主要なAI開発者の一人となり、PLNやメタグラフのパターンマイニングなど様々な分野で活躍しました。当時、私はAGI設計に関する自分の考えを彼に説明しました。すると、彼は「私のアイデアは実質的に近似的なゲーデルマシンであるように思える」と答えました。これは、ユルゲン・シュミットフーバーが提唱した理論上の理想的なAGIシステムで、大まかに言えば、形式的に証明できる最も効果的な行動と自己修正を実行するものです。私も彼の意見に同意しましたが、同時に、私の複雑な認知アーキテクチャ思想に対するやや控えめな称賛のように感じました。確かに、ゲーデルマシンにはもっと単純な近似が存在しますが、人間が重要視するタスクに対して、現実的に利用可能なリソースでうまく機能する近似を見つけることは、認知アーキテクチャ設計という問題全体を別の言い回しにしたにすぎません。

その数年後、私は今「心-世界対応原理」と呼んでいるものを提唱しました。これは、特定の環境における特定の目標セットに対して、ある程度の汎用知能を持つシステムを作るには、そのシステムの構造の中に、目標に対する環境のパターンに密接に同型なパターンセットを埋め込むことである、という考え方です。例えば、環境が階層構造になっていて、そのシステムの目標が、少なくとも概ね階層の異なるレベルに属するサブゴールに分解される傾向にある場合、この状況を効率的に処理するためには、認知システムのメンタルアーキテクチャもまた、明瞭な階層構造を持つべきでしょう。

数年後、私は現在「心-世界対応原理」と呼ばれる理論を提唱しました。これは、特定の環境における目標セットに対して、ある程度の汎用知能を持つシステムを構築する方法です。具体的には、システムの構造に、目標に関連する環境内のパターンと密接に同型なパターンセットを組み込むという考え方です。例えば、環境が階層構造を持ち、システムの目標が階層の異なるレベルに属する部分目標に分解される傾向がある場合、この状況を効率的に処理するためには、認知システムのメンタルアーキテクチャも階層的なパターンを持つ必要があります。

GOLEMのような汎用知能メタシステムは、現在の環境と目標体系に存在するパターンを特定し、オペレーティングプログラムを修正することで、これらのパターンをより効果的に反映し、適応することができます。人間精神や文化のように自己修正能力が限定的なシステムでも、適応や発展を通じて、ある程度同様のプロセスが行われています。

Geisweilerは、HyperonのAGI開発においても、ゲーデルマシンの概念に基づいたアプローチを堅持しています。ゲーデルマシンは理想的でありながらも実現可能な自己書き換えシステムです。システムを改善することが形式的に証明された書き換えのみを実行します。困難なのは、そのような証明を生成することです。そのような目標定理が必要とする長い推論の連鎖は、非常に困難です。

推論制御メタ学習は、この問題を解決する可能性を秘めた手法です。過去の成功した推論と失敗した推論の軌跡を記録してマイニングすることで、推論制御ルールを発見し、過去の成功例に基づいて探索を迅速化することができます。しかしながら、成功と失敗を区別することを学習するには、少なくとも一度は成功を経験する必要があるという課題があります。自己書き換えによる改善の証明を見つけるという文脈においては、これは特に困難な問題となります。

それでも、いくつかの解決策が考えられます。第一に、比較的単純な書き換えは、パラメータ調整などの手法を用いることで、許容可能な時間内に何らかの証明を見つけることが可能です。これにより、次第に難度の高い証明を積み重ねていくことも期待できます。第二に、より重要なポイントとして、自己書き換えによる改善のための推論制御に関する知識は、自己書き換えの改善に直接関係のない問題を解決することで、ある程度一般化して学習できる可能性があります。これがどの程度まで当てはまるかはまだ検証が必要ですが、少しでも可能性があるならば、それは自己改善の好循環を立ち上げる有効な手段となるでしょう。なぜなら、世界の問題を解決することを学ぶ過程で、システムは自身の問題解決能力も向上させていくことができるからです。

4.6.2 複雑性、自己組織化、そしてスーパーインテリジェンスへの道のりの創発

Hyperonの初期バージョンは慎重に設計されており、ここまで取り上げた基盤となる設計原理やアイデアの多くを検討してきました。しかし、もしプロジェクトが成功し、Hyperonのバージョンが人間の汎用知能を超えるようになれば、比較的短期間で自己設計、自己改良型のシステムへと進化するでしょう。そのような進化を遂げたHyperonは、初期段階の「人間レベル未満」の時期よりも複雑系科学の領域に深く関わることになります。これは、初期段階では「知識」や「認知的ヒューリスティック」が複雑に進化していくものの、コアアルゴリズムやメタ表現は固定されているためです。

これは、Hyperonの自己開発後の段階を理解する上で、ユニバーサルAI理論の概念だけでなく、カオスと複雑系科学からの概念も重要になってくることを示唆しています。Matt Ikleが指摘するように、「汎用人工知能(AGI)研究は、多くの根源的な問いがつきまといます。そもそも知性、意識、生命とは何でしょうか? 最初の単細胞生物はどのように形成されたのでしょうか? どのようにして「無から有を生み出す」ことができるのでしょうか? シリコンを取り、その電気特性を変化させ、電気を供給し、かなり高度なプログラミングを施すことで、最終的にAGIを生み出すことができるのでしょうか?」

これらの疑問に対する部分的な答えは、「カオス理論」に関連する分野、つまり非線形現象、自己相似性、フラクタル、複雑系、自己組織化マップ、 自己修正システム、相転移、そして創発現象といった広範な領域にあるのかもしれません。

最新の神経科学研究では、このような非線形現象がAGI創出に重要であることが明らかになりつつあります。最近行われた1週間の神経科学実験では、人間の脳波ダイナミクスは「断続平衡」のパターンとして説明されました。

脳のネットワークは、特定の行動に対応する安定状態を維持し、その後、予測が困難な一時的な爆発的な活動によって中断されるパターンが観察されました。この爆発的な活動はカオス的な特性を示し、行動の遷移と一致しています。さらに、脳の状態の統計解析では、べき乗則と呼ばれる数学的な法則が見られることが分かりました。この法則は、臨界ダイナミクスと呼ばれる複雑系に固有の特性であり、単純で安定した要素から複雑な挙動が生まれる可能性を示唆しています。これらの結果は、現実世界の行動を支える複雑で柔軟な脳のダイナミクスが、個々の安定したネットワークが持つ単純なダイナミクスの混合によって生じる「創発現象」であることを強く示唆しています。

興味深いことに、このような断続平衡のパターンは、Hyperonの基盤となる複雑系ダイナミクス理論の 「ストレンジアトラクター」と驚くほど似ています。まず、これらのアトラクターは、人間が提供した認知アルゴリズムの枠組みの中でシステムが獲得した知識に関連しますが、その後はシステム自身の認知アルゴリズムや低レベルの実装コードの形成と修正にも関連するようになります。

複雑系理論は、オープンエンド・インテリジェンス(OEI)理論の主要な着想源の一つでもあります。OEI理論は、汎用知能を「個体化」と「自己超越」のダイナミクスを組み合わせた自己組織化プロセスとして捉えます。OEIの観点から、ユニバーサル・インテリジェンス(普遍知能)への到達は、汎用知能が自らの限界を超え、自己超越しようとする試みであり、個体化を脅かす、または弱体化させる条件を克服するための努力でもあります。OEIがさまざまな方法でユニバーサル・インテリジェンスに近づくにつれて何が起こるかを理解することは重要ですが、それは進化し、重なり合う知能が織りなす、複雑な自己組織化の創発的ダイナミクスの興味深い側面の一つに過ぎません。このような視点から見ると、Hyperonのようなオープンエンド・インテリジェンスとしてのシステムの成功は、システムがある程度の期間存続し、その間に、人間の作成者や初期バージョンが想像できる以上に広範で多様なシステムへと変化することが求められます。

5. Hyperonの開発パス

図22:OpenCog Hyperonのコア開発のラフな暫定ロードマップ
(具体的なアプリケーション、デモ、商用化努力は含まれません)

大まかな構想の説明はしましたが、組織としてどのように計画を進めていくのでしょうか?もちろん、肝心なのは「実行する」ことです。現在、Hyperonの開発に専念しているチームがおり、計画通りに継続し、さらにスピードを上げる予定です。直近のフェーズにおける開発ロードマップの概要は図22に示していますが、これは私たちの戦略の全てではありません。オープンソースコミュニティの構築と積極的な商業化努力により、さらに多くの人材と知見を取り込むことができれば、より効果的だと考えています。

5.1 Hyperon開発コミュニティの拡大

ベン・ゲーツェルは、OpenCogプロジェクトにおける開発者との関係の歴史を次のように振り返っています。「OpenCog」という名称は、単にオープンソースの認知アーキテクチャを作成すること(もちろん、そのようなものは他にもたくさんあります)だけでなく、AGIを人間レベル以上に高めるという野心的な目標や、さまざまな実用的なアプリケーションに向けて、大規模なコミュニティによるオープンな共同作業プロセスを作り出すことを意図していました。しかし、少なくとも現時点では、「大規模なコミュニティ」という部分については失敗に終わっています。OpenCogを使って興味深いエンジニアリングと研究を行い、いくつかの実用アプリケーションのバックエンドとして利用し、オープンソース界から数人の優秀な開発者を獲得しました。しかし、本当に大規模で活発なオープンソースコミュニティを立ち上げることはまだできていません。

これにはいくつかの理由があったと思います。OpenCog Classicは実用的な意味で使いやすいとは言えず、初心者の開発者が簡単に触れられる魅力的なデモも用意されていませんでした。そして、AGIの追求はつい最近まで人気のある分野ではありませんでした。今は全く新しい時代であり、AGIはより多くの開発者にとって興味深いものとなっています。したがって、OpenCog Classicでできなかったことを、Hyperonを使って開発者コミュニティの領域だけでなく、AGIの研究開発の領域でも達成できる可能性が高いと思います。しかし、現在の状況でもこれを達成するためには、使いやすさに十分に注意を払い、開発者が触れやすい魅力的な中間成果物を用意する必要があります。どちらも、専門家チームによるAGI研究開発のために、単純にHyperonを使用する際に必要とされる努力とはやや性質が異なるものです。

これまで、OpenCog Hyperonの開発は、SingularityNETとTrueAGIに携わる少数の開発者グループによって進められてきました。コードはオープンソース化されていますが、開発作業自体は比較的閉鎖的な状況で行われてきたと言えます。

しかし、開発コミュニティとコードの両方に関して、状況をオープンにする確固たる計画があります。現在の開発ロードマップでは、2024年第1四半期末頃に、Hyperonシステムのアルファ版をリリースすることを目指しています。このアルファ版は、MeTTaインタプリタと分散アトムスペースが主要コンポーネントとなります。このリリースに合わせて、活発なHyperon開発者コミュニティを構築するための大規模なアウトリーチ活動を開始する予定です。現在のAGIに対する熱狂ぶりを考えると、これはOpenCogの歴史上これまで取り組んできたよりも、比較的容易な試みになると期待しています。ただし、最近のAGIに対する熱狂の大部分が、より異質な認知アーキテクチャではなく、特にLLMに向けられていることを考えると、必ずしも完全に容易ではないことも予想されます。

5.2 初期のデモンストレーションと応用の可能性

アルファ版リリースに併せて、初期のHyperonコードベースを使用した実用的なデモをいくつか準備中です。現在検討中のアイデアとしては、以下のようなものが挙げられます。

  1. Minecraft プレイヤーアシスタント:Hyperonとプログラム合成技術を活用して、Minecraftをプレイするアシスタントを開発します。このアシスタントは、プレイヤーの指示に従ってゲーム内の操作を実行したり、自動的に戦略的な行動を取ったりすることができるようになります。
  2. ヒューマノイドロボット対話システム:現在ヒューマノイドロボットGrace、Sophia、Desdemonaの対話システム制御に使用されている大規模言語モデルに、書き換え可能なアクティブメモリを追加します。このアクティブメモリによって、ロボットは過去の会話内容や現在の状況をより柔軟に記憶し、より自然で人間らしい対話が可能になります。
  3. 生成型AIのシンボリック制御:Hyperonベースのフレームワークを開発し、生成型AIをシンボリックに制御します。特に画像生成において、複数の安定拡散モデルを柔軟に組み合わせ、従来の手法では実現できなかったような新構造の生成を可能にします。
  4. Rejuveプロジェクトにおける生物学的年齢推定:現在、個人のさまざまな属性に基づいて生物学的年齢を推定するために使用されているベイジアンネットワークを置き換えるを、RejuveプロジェクトでPLNに置き換えます。PLNは、より高度な推論能力と柔軟性を備えており、より正確な年齢推定が可能になると期待されます。

これらの比較的単純なアプリケーションに加え、私たちはRejuve Biotechプロジェクトにおいて、寿命研究における知識発見にPLNを適用する試みを進めています。Rejuve Biotechプロジェクトは、SingularityNETが推進するイニシアチブの一つであり、通常のハエよりも5~8倍長寿なハエの研究に焦点を当てています。OpenCogは既にこれらのハエのDNAを分析し、彼らの長寿のメカニズムをある程度解明しています。現在、OpenCogは転移学習と呼ばれる手法を用いて、これらの長寿要因のうちどれが人間に適用できるかを判断することに取り組んでいます。ゲノミクス分野で一般的に用いられる大量のデータを扱うディープラーニングや機械学習アルゴリズムとは異なり、PLNは限られたデータ量でも有効な結果をもたらす可能性を秘めており、この分野における革新的な活用法として期待されています。

OpenCog Hyperonの開発は、今後1~2年をかけ、以下の2つの主要領域に注力していきます。

  • 大規模言語モデルの強化:ニューラルネットワークとシンボリックAIを統合することで、より高度な知能を持つチャットシステムを構築します。前述のように、HyperonとLLMを連携させることで、LLMの弱点である複雑な多段階推論や根本的な創造性を克服できると考えています。
  • バーチャルエージェントの制御:ビデオゲームの世界で複数の仮想エージェントを制御することにより、自己修正型コードベースの優れた試験場を構築します。具体的には、Sophiaverseメタバースにおける「Neoteric」と呼ばれる人工生命種をHyperonで制御することを検討しています。

5.3 商用化

Hyperonは、分散型インフラツールと統合されたオープンソースプロジェクトであり、世界中の人々にとって有益なAGIの実現を目指しています。この崇高な理想を達成するために、私たちは日々努力を重ねています。しかし、Hyperonを活用した実用的な商用アプリケーションの開発が、この理念と矛盾するのではないかと考える人もいるかもしれません。しかし、私たちはそうは考えていません。むしろ、今日の偉大なオープンソースソフトウェアネットワーク、例えばLinuxオペレーティングシステムやインターネット自体が、商用開発によって大きく発展してきたことを十分に理解しています。重要なのは、オープンソースコミュニティが活気に満ち溢れ、商用ユーザーや開発者と緊密に連携して活動できることです。現代のテクノロジー経済においては、商用世界と純粋な研究開発世界との相互作用こそが、最も驚くべき成果を生み出す原動力となっています。

上記を踏まえて、本稿の著者の一部は、TrueAGIという企業に関わっています。TrueAGIは、Hyperonを活用し、様々な垂直市場における企業のAIニーズを満たすことを主要な目標としています。また、姉妹会社のZarqaは、Hyperonを利用して商用チャットボットシステム(ChatGPTのようなもの)を改善し、LLMを強化することを目指しています。これら以外にも、Hyperonと他のAIツールをゲノム推論に活用するRejuve Biotechや、メタバースエージェントの運用にHyperonを利用するSophiaverseなど、Hyperonを活用した商用プロジェクトが存在します。これらのプロジェクトはすべてSingularityNETエコシステムと連携しており、Hyperonが成長し拡大するにつれて、今後さまざまな企業が商用アプリケーションに向けて活用することが大いに期待されます。

このような商用プロジェクトは、開発者への資金提供、機械学習実行に必要なコンピュータリソースの確保、そして一般の人々の日常生活にディープラーニングなどの高度なAIツールを結びつける使いやすいスケーラブルなアプリケーションの構築という点で、確かに価値があります。しかしながら、同時に複雑な課題も伴います。

上記のような商用プロジェクトには、技術面や設計面の課題があります。TrueAGIのCOOであるRobert Werkoは、「商用開発では、研究ソフトウェアシステム に比べて優先度が低い、いくつかの点に注意を払う必要があります。これらには、より厳密な機能優先順位付け、製品と市場の適合性、ユーザーからのフィードバックの収集、ユーザーのオンボーディングの容易さ、ユーザーエクスペリエンスの品質、セキュリティとコンプライアンスなどが含まれます。これらの問題に効果的に対処することは、研究開発の目標達成から注意を逸らす可能性があります。一方で、商業的に準備の整った堅牢なソフトウェアフレームワークを構築することは、研究開発を効率的かつスケーラブルに実行する能力を高めることもできます」と指摘しています。

さらに、技術や設計面以上に難しいのは、人間的および倫理的課題です。商用企業は「人々に役立つAGI」 のような崇高な目標だけを追求することはできません。 常に、少なくとも所有者や株主の利益に向かって働くという複合的な動機を持つことになります。しかし、ベン・ゲーツェルは次のように述べています。「初期段階のAGIシステムの商用アプリケーションを倫理的に追求することは、実際にはそのAGIシステムの道徳的側面だけでなく、他の側面においても利益をもたらすと考えています。 AGIが成長する過程で学ぶべき重要なことの1つは、まさにこの点にあります。つまり、日常生活的活動において現実的なことを成し遂げるために、倫理的直観と実用的な活動とのバランスをとる方法を学ぶ必要があるのです。

Hyperonの商業化への初期段階の探索は、SingularityNETエコシステムの一部の企業との非独占的なコラボレーションで行われる予定です。これらの企業には、OpenCogのアプローチを長期間にわたって実験してきた実績があります。具体的には、ロボットSophiaを持つHanson Robotics、介護ロボットのGraceを持つAwakening Health、AIを活用した音楽イニシアチブを手掛けるJam GalaxyとMusaicによるロックミュージシャンロボットのDesdemonaなど、ヒューマノイドロボットやアバター関連が挙げられます。

現在、Graceロボットは、一般的なLLMとカスタムプロンプト、特別に訓練されたTransformer型ニューラルネットワーク、そしてOpenCog Classicシステムを使用して、意味論と記憶の側面を処理する複合的な対話システムによって制御されています。OpenCog ClassicからHyperonへの移行作業が進められています。ヒューマノイドロボットに必要な、言語、認知、そして行動と様々な感覚入力の統合は、Atomspaceの統合能力が活かせる、難しくもあり理想的なユースケースです。

Mind Childrenと呼ばれる新しいプロジェクトでは、約1メートルほどのヒューマノイドロボットを使用し、Graceと同様のソフトウェアアーキテクチャをベースとしつつ、最初からHyperonを採用する予定です。このプロジェクトでは、より重点的に移動、行動計画、そして物理オブジェクトとのインタラクションに注力を置いています。

Rejuve BiotechとRejuve Networkのプロジェクトでは、すでにHyperonをバイオインフォマティクスデータ分析の一部に活用しています。具体的には、Flybaseオントロジーは長寿の果蝿からのゲノムデータを解析するために利用されており、これは分散型アトムスペースの初期のテストケースとして価値があります。Rejuve BiotechのAI責任者であるMichael Duncanは、次のように述べています。

バイオAIには、現在のLLMだけでは不十分な理由がいくつかあります。

  • 研究文献の偏り:現在の研究論文には、ごく一部のヒト遺伝子が過剰に研究されていることや、既存の科学パラダイムの制約など、様々なバイアスが存在します。こうしたバイアスは訓練データにも反映され、LLMはこれらの偏ったデータに基づいて学習するため、革新的な発見を導き出すよりも、既存の仮説を強化するような結果に陥りやすい傾向があります。特に、人体のような複雑な生物システムはまだ十分に理解されていないため、この問題は深刻です。
  • 数理シミュレーションの構築能力の欠如:バイオAIでは、質問への回答やパターン認識に加え、数値シミュレーションの設計と実行も求められます。しかし、LLMは複雑な多段階推論を苦手とするため、この点において課題があります。
  • 幻覚問題:LLMはよく根拠のない事実を生成する「ハルシネーション問題」を抱えています。
  • 生物学的現実との接地不足:LLMは、生物学的概念を現実世界の生物学的文脈に根ざさせることで得られる重要な直感を欠いています。例えば、実験機器やデータセットなどの生物学的な要素との接点がないためです。

5.4 有益なAGIの達成

ChatGPTの登場以来、AGIの潜在的な危険性と利点については、非常にタイムリーで議論を呼ぶトピックとなっています。しかし、Hyperonプロジェクトに関わる私たち多くの人は、何十年も前からこれらのトピックについて深く考察を重ねてきました。そして、その考察はシステムアーキテクチャに深く根付いており、一般メディアで見られるような浅薄な議論とは一線を画すものとなっています。

ベン・ゲーツェルは、Hyperonプロジェクトの様々な側面を形作る上で重要であった、AGI倫理に関する自身の見解の一部を以下のようにまとめています。

Hyperonの開発に携わる人々は、AGI倫理に関する問題に対して多様な見解を持っています。統一された「思想」はありません。しかし、私を含む初期のHyperon開発者の多くが抱いている中心的な仮説がいくつかあり、それらが「初期のHyperonにおけるAGI倫理へのアプローチ」の基盤となっています。以下はその一例です。

  • 技術の将来的な影響は保証できない:AGIのような根本的に革新的で幅広い用途を持つ技術の将来的な影響を確実に保証することはできません。
  • 様々な先端技術の将来予測も困難:AGIと同様に、ナノテクノロジー、バイオテクノロジー、ブレイン・コンピュータ・インターフェースなど、現在開発中の様々な技術についても、将来的な影響を確実に予測することはできません。これらの技術とAGIの相互作用も重要なポイントです。
  • 開発は止まらない:経済的および人間的利益をもたらすなど、様々な理由から人類がAGIや他の高度な技術の開発を一時停止したり大幅に遅らせることは現実的ではありません。開発を遅らせる国は、開発を進める国に対して経済的および軍事的劣勢に立たされるでしょう。
  • ネガティブな未来予測は根拠に乏しい:ハリウッド映画のような描写を根拠にするべきではありませんし、ニック・ボストロムの「スーパーインテリジェンス」のような議論も、ベン・ゲーツェルが数年前の詳細な論考で述べたように説得力に欠けます。人間と同等かそれ以上の知能を持つAGIがもたらすネガティブな結果は必ずしも起こり得ないでしょう。
  • 人工超倫理心は可能:人間は知性を持つ存在ですが、物理法則上実現可能な最良の知性体である可能性は低いです。人間の脳は知能の限界に達している可能性が高く、同様に倫理的にも限界があると考えられます。「人工超知能」と同じように「人工超倫理心」も実現可能です。
  • 危険性と知性の分離:怒り、嫉妬、自己中心主義など、人間同士を危険にさらす要素は、必ずしも人間レベルの知能に不可欠なものではありません。そうした要素は、進化の過程でたまたま備わった要素かもしれません。
  • 倫理的AGIの構築可能性:他の知的生命体に対して思いやりと安定した倫理観を持って接するよう、強く指向されたAGIの認知アーキテクチャを構築することは可能です。
  • 初期AGIの活用による倫理的バイアス:初期段階のAGIシステムを医療、教育、オープンサイエンス、芸術など、慈悲深く有益な分野で活用することは、人間やその他の知的生命体に対する思いやりのある態度をAGIシステムの心に植え付けることにつながります。
  • 分散型インフラの重要性:最初の強力なAGIが少数の個人や組織(国家や企業のリーダー)によってではなく、より多くの人間によって制御される方が、倫理的に望ましい結果が得られる可能性が高くなります。これは、人間の世界でも「権力は腐敗の傾向がある。絶対的権力は絶対的に腐敗する」という格言に通じます。そのため、SingularityNETやNuNet、Hypercycleなどのエコシステムプロジェクトが開発しているような分散型AGIインフラの重要性が高まります。
  • 現在の倫理観への対応:現在の倫理基準は、人間中心に設計されているため、AGIシステムにとって必ずしも自然なものではありませんが、人間と同等レベルのAGIにとっては習得や対応が難しいものではありません。実際、現在のLLMは人間レベルのAGIには及ばないものの、人間の倫理的判断を予測する能力にはかなり長けています。

これらのポイントのうち、最後のもの以外は、過去数年間や数十年間に発表されたゲーツェルの論文の中で詳しく検討されています。例えば以下の論文などを参照してください。

この最後の点については、最近の記事でGPT-4、LaMDA、その他のLLMを用いた実験が取り上げられ、特にさまざまなシナリオにおける倫理的な判断を予測する能力が検証されました。その結果、LLMはこのタスクに非常に優れており、高度に倫理的で善意のある人間がとるであろう行動を予測する能力で、ほとんどの人間を上回っていることが分かりました。

ベン・ゲーツェルは、AGI-23の講演で次のように述べています。これらの実験を通して、人間が直面する倫理的課題は、道徳的に正しい行動に関する知識の欠如ではなく、むしろ自己利益や集団利益を倫理的考慮よりも優先させる傾向にあることだと気づかされました。LLM自体には意思決定能力や道徳観はありませんが、一般常識に基づいて倫理的な判断を予測する能力を備えています。さらに、要求されれば、非倫理的な行動に対するもっともらしい言い訳も生成できます。悪意を持って状況を誤解させ、その誤解に基づいて非倫理的な行動を提案したり実行させようとする試みに対して適切に対処するためには、さらなる改善が必要です。いずれにしても、現在の一般的な人間の倫理観は、LLMを認知プロセスの一部として効果的に活用できるAGIシステムにとっては問題にならないでしょう。

AGI倫理における最も深刻な課題は、AIが人間倫理を理解することではなく、むしろ悪意を持って誤解を誘発する操作に対処し、倫理的知識と日常的な意思決定における現実的な側面とのバランスを保つことであることが明らかになりました。従来、多くの人々は、人間倫理はあまりにも複雑で矛盾しており、形式化することはできないと主張してきましたが、LLMはこれらの微妙なニュアンスを独自の方法で捉え、理解する能力を示しています。

この考察から導かれる一つの結論として、AGI向けの目標指向認知アーキテクチャ開発において、LLMを人間倫理のオラクル(助言者)として活用することは極めて有用と考えられます。しかし、LLMの回答を検証するためのPLNなどのツールを用いることは不可欠です。さもなければ、敵対的な操作によってLLMが操作され、信頼性が著しく損なわれる可能性があります。

このような考察を踏まえると、Hyperonのハイブリッドでマルチコンポーネントな構成は、AGI倫理にとって重要な資産となる可能性を秘めています。Hyperonシステムは、人間の常識に基づく倫理的判断を模倣するように微調整されたLLMを「脳葉」として組み込むことができます。この脳葉によって、実行しようとする行動の倫理的価値を人間基準で評価し、さらにこの脳葉による評価に基づき、一般的な人間基準に基づく倫理的正しさを最上位の目標の一つとすることも可能です。

Hyperonシステムにおける適切な倫理観や価値観の導入は、人間の発達と同様に、一度きりで達成できるものではなく、継続的なプロセスとなります。このプロセスには、以下のような多様な要素が含まれます。

  • Hyperonシステムの目標に人間的な倫理判断を適切に組み込むこと 
  • 思いやり、幸福、成長、選択といった普遍的な価値観に基づいて、Hyperonシステムが独自に価値観を探索し、発展させることを奨励すること
  • 初期段階のHyperonシステムが実行するアプリケーションが、システムの思考を有益な方向へと導き、人々が自らの思考をポジティブな方向に導くための探求を支援するような肯定的なものであることを確認すること

この分野からは学ぶべきことが多く、開発にあたる人間グループの精神と倫理観は、間違いなく最も重要な要素の一つとなるでしょう。

6. 結論

今後数年間、具体的には今後3年から10年ほどの間で、人間レベルのAGIを達成できるという、またとないチャンスが訪れるように思われます。正確な時期は予測できませんが、大規模なHyperonシステムを構築し、さまざまな分野での適切な相互作用を通じて学習させることで、人間レベルの汎用知能に近づけることが、少なくとも理論上可能であると考えられます。

上記の通り、Hyperonシステムに教え込むことができると考えられる能力の一つとして、ソフトウェアの設計とコーディングがあります。LLMはすでに単純な状況下でこのタスクをこなすことができます。Hyperonでは、この能力をさらに拡張し、より深い創造性と高度な多段階推論を実行できるように設計されています。一度、自分自身を改善し、次世代のバージョンを書き込めるほど十分なコード設計とコーディングができるシステムが完成すれば、本格的な知能爆発と技術的特異点、つまりシンギュラリティが訪れる可能性のある領域へと突入することになります。

シンギュラリティをもたらすような、急激な自己改変が可能なAGIはまだ開発できてはいませんが、Hyperonの開発は非常に興味深い段階を迎えています。MeTTaインタープリタと分散型アトムスペースの初期バージョンが完成しており、実験や開発を進めることが可能になっています。そして、お伝えしたように、アルファ版のリリースは暫定的に2024年第1四半期末を予定しています。

システムのスケーラビリティはまだ開発中で、包括的なツールやドキュメントも充実していませんが、これらはいずれもロードマップに含まれており、まもなく提供される予定です。アルファ版のリリース時には、経験豊富なAGI研究者はもちろん、熱心なAI開発者、アプリケーション開発者など、オープンソースコミュニティへの幅広い人材参画を期待しています。真に有益なAGIの実現に向けた急速な進歩の可能性は計り知れません。

HyperonとCogPrimeは複雑な設計であり、その完全な理解は、誰もが取り組むべき進行中の課題です。今回の記事では、ハイライトを紹介し、読者の皆様がさらに深く調べることに興味を持っていただくことを目的としました。詳細は、こちらのリンクからアクセス可能なドキュメント、ビデオ、コードをより深く探索していただくきっかけになれば幸いです。

<前編へ戻る>

カルダノステークプール【OBS】

暗号通貨革命では、カルダノステークプール(ティッカー:OBS)を運営すると共に、皆様に役立つ有益な情報を無償で提供して行きます。ADAステーキングを通しての長期的なメディア&プール支援のご協力の程、何卒よろしくお願い致します。

この記事が気に入ったら
いいね ! しよう

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

CAPTCHA