OpenCog Hyperon：人間レベルを超えるAGI（汎用人工知能）のためのフレームワーク＜後編＞

OpenCog Hyperon（オープンコグ ハイペロン）の概要

2008年にリリースされたOpenCogは、ソフトウェアとハードウェアを組み合わせて心の働きをシミュレートするオープンソースプロジェクトであり、AGI（汎用人工知能）の実現を目指しています。脳を直接リバースエンジニアリングするのではなく、コンピュータ科学に基づいた工学的なアプローチを採用している点が特徴です。その認知アプローチは、心の哲学、認知科学、コンピュータ科学、数学、言語学など、多岐にわたる学術分野の融合に基づいています。

OpenCogは、Atomspaceと呼ばれる高度な知識グラフ（KG）を中心に、ニューラルネットワーク、生成AI、確率的AI、プログラム学習AIなど、さまざまなAIモジュールを統合します。この統合により、適切な認知アーキテクチャを通じて異なる知能コンポーネントが相互に支援し合い、創発的な構造とダイナミクスを生み出す「認知的シナジー」を実現します。

また、OpenCogはオープンソースプロジェクトであり、誰でもコードを閲覧したり、貢献したりすることができます。

2021年に再構成されたOpenCog Hyperonは、OpenCogプロジェクトの拡張版であり、スケーラビリティと使いやすさの課題を解決し、新たな数学的概念を用いて、より強力で汎用性の高いAIの実現を目指しています。2024年4月30日には、Hyperonのアルファ版がリリースされており、最新のAI言語「MeTTa」を導入し、学習空間と知識ストアを提供することで、パターンマイニングや注意配分などのツール群を活用し、AIシステムが協調して学習し問題を解決することが可能になります。

Hyperonは、SingularityNET、HyperCycle、AI-DSLと協力し、全てのAIエージェントが互いに通信できるメタサービスの集合をサポートするフレームワークとして機能し、部分の総和よりも大きいAGIシステムを形成します。

参考文献

以下、2023年9月19日に発表された論文の後半部分になります。内容は正確性と読みやすさに配慮して行う予定です。

論文タイトル：『人間レベルを超える汎用人工知能のためのフレームワーク：OpenCog Hyperon: A Framework for AGI at the Human Level and Beyond』

注意事項

• 翻訳はLLMを用いて行うため、内容に誤りがある可能性があります。
• 翻訳結果については、専門家のレビューが必要です。

４. CogPrime認知モデル（そして更なる進化）

Hyperonソフトウェアフレームワークは、多様な認知アーキテクチャやAGIアプローチの実装に柔軟に適用できます。具体的には、ワンショット型質問応答チャットシステム、定理証明システム、さらには人間に類似した認知アーキテクチャの構築さえも可能にします。しかしながら、OpenCogの開発当初から中心に据えられ、Hyperon時代にも継承されている特定の認知アーキテクチャが存在します。本節では、この「歴史的デフォルトのHyperon認知アーキテクチャ」と、その他のアイデアについても考察していきます。

ゲーツェルによる2021年の学術論文『汎用知能の一般理論：General Theory of General Intelligence』は、CogPrime認知モデルの最新版の詳細な解説を提供しており、他の関連する最新の技術研究論文への詳細な文献リストも含まれています。本稿では、数学的な説明を控え、より高レベルな視点から解説を行い、CogPrime認知モデルの基本的な概念を理解することを目的としています。ただし、基礎理論の詳細な理解を提供するものではありません。

4.1 CogPrime：Hyperonの歴史的デフォルト認知モデル

CogPrimeは、OpenCogプロジェクトの歴史を通じて中心的に追求されてきた、柔軟に定義された認知アーキテクチャです。2012年にOpenCog Classicの文脈で構築されましたが、現在でもHyperonの文脈で十分に機能します。このアーキテクチャは、さまざまな出版物で「CogPrime」と呼ばれてきましたが、この名称は特に定着しませんでした。しかしながら、OpenCogをソフトウェアフレームワークとして、そこに実装される特定の認知アーキテクチャと区別することは重要です。OpenCog Hyperonとしてのフレームワークは、主にCogPrimeアーキテクチャのニーズを満たすように設計されていますが、他にも多くの望ましい特性が考慮されており、HyperonはCogPrime以外の他のアーキテクチャを探求するために使用される可能性が高く、さらにはHyperon上でCogPrimeを用いた実践的なAGI研究開発が進むにつれて、CogPrimeも大きく進化する可能性があります。

CogPrimeの主要な参考文献は、2014年に出版された2巻組の書籍『汎用知能のエンジニアリング：Engineering General Intelligence , Part1 , Part2』です。CogPrimeの複雑さを大幅に簡略化すると、以下のようなことが行われています。

• 知覚：Atomspace内で情報単位である「アトム」を形成し、これらは神経系など他の表現空間とリンクされます。このAtomspaceはCogPrimeの基盤となる知識表現システムであり、感覚入力や過去の経験に基づいて更新されます。
• 行動：Atomspace内のアトムによって構成された行動計画を策定します。この行動計画は実行のために他の表現形式（例：ニューラル活性化パターン、Rholang（ローラン）プログラムなど）に変換される場合もあります。
• 周辺認知活動：Atomspace内では、重要度の伝播（アトム間での接続に応じて重要度が伝播する）、概念形成（既存のアトムから新しいアイデアを表す新しいノードを構築する）、推論（既存の関係から新しい関係を構築する）など、自律的で自己組織化された活動が発生します。これらの活動は目標指向的ではなく、システムが周囲の環境を理解し、意味のあるパターンを認識するために重要です。
• 目標指向型活動：システムは現在の状況に対する知覚に基づき、推論を使用して目標達成の可能性が高いと考える行動を選択（合成）し、実行に移します。

CogPrimeを実現させるには、MeTTaスクリプトで表される複数の認知プロセスが連携して機能します。最適な認知プロセス構成は現在も実験中で特定されていませんが、2014年に出版された『汎用知能のエンジニアリング』では初期の非常に詳細な仮説が提示されており、オンライン上でも簡潔にまとめられています。ハイライトを簡単にまとめると以下の通りです。

1. ECAN（Economic Attention Allocation：経済的注意配分）：アトム間で短期・長期の重要度を伝播させるためのメカニズムです。
2. PLN（Probabilistic Logic Networks：確率論理ネットワーク）：観測結果や自然言語、数学、その他のソースから得られた知識に基づいて、不確実な論理的結論を導き出すための確率論的論理ネットワークです。
3. 概念混合：既存の証拠と既存の概念に基づいて新しい概念を形成するための、マッピング、オッカムの剃刀に基づく概念述語化など、ヒューリスティックな手法。
4. 進化学習：Atomspaceの新しいサブネットワークを、特定の基準を満たすように進化させるためのプロセスです。
5. 確率的手続きと述語合成：Atomspaceや他の空間における確率分布に基づいて、新しいコンテンツを作成するための手法です。
6. パターンマイニング：Atomspaceや他の空間で観察されたパターンを表す新しい述語を生成するための手法です。
7. 目標の洗練：システムが与えられた上位目標に基づいて、サブゴールの作成、削除、統合を行うための手法です。
8. 目標指向行動選択：認識された状況下でシステムの目標達成に寄与しそうな行動を選択するための手法です。
9. 自己生成的書き換え規則：互いに書き換えを行うことで、相互に生成し合う規則のオートカタリティック系を形成する “自己生成” システム （OpenCogでは “Cogistry“と呼ばれるアプローチ。Aera認知アーキテクチャにおけるReplicodeの使用にも類似）

Hyperonアーキテクチャにおいて、これらのプロセスはすべて、当初は手動でコード化されたMeTTaと、その後詳細部分を埋める学習済みの MeTTaコードの組み合わせにより、Atomspaceの中央で一元的に実行されます。LLMが果たす可能性のある役割は、特定の部分に限定されるものではなく、むしろさまざまなコンポーネントに分散しています。例えば、言語に関してはLLMが大きな役割を果たす可能性がありますが、長期記憶の複数の形式の一つになることも考えられます。また、LLMは反応的プロセスと熟考的プロセスの両方において情報源として機能することができますが、どちらの場合も限界があるため、他の推論プロセスや学習プロセスと連携させる必要があります。

現在の技術を使用してこれを実装する方法の一つは、深層ニューラルネットワークを行動（例：右腕と左腕）および強化階層に活用し、AtomspaceベースのMeTTa手続きを運動計画の主要モダリティとして使用することです。ここで重要なのは、MeTTaの記号的な行動計画とニューラルネットの運動合成能力との間の流動的な調整です。単にMeTTaが高レベルの計画を出し、ニューラルネットがその高レベル計画の各行動を個別に実行する方法を見つけるだけでは不十分です。むしろ、高レベルの計画全体をニューラルネットが文脈として捉え、その計画の各部分に対応する行動の合成を行う必要があります。これにより、全体の動作系列を反映した形で各部分の運動が詳細に実行されることが可能になります。

このユースケースは、Neural-Symbolic統合を探索するのに非常に適しており、Hanson Robotics、Awakening Health、Mind Children、その他のパートナープロジェクトとの共同研究を通じて、実世界のロボット工学の文脈で探求していく予定です。オープンなロボット工学コミュニティが、Hyperonをこのような目的に合わせてカスタマイズすることに関わることも望ましいでしょう。

Transformer型ニューラルネットワーク（LLMなどを含む）は、理解と生成の階層構造をカップリングして実装する非常に有効な手法の一つであることは明らかです。この場合、2つの階層は単に密接に結合しているというよりも、豊かに相互浸透しており、密接な関係にあります。LLM内のコンテンツに対応する（確率的または明確な）形式言語規則を、シンボリックなパターン認識と推論を用いて認識する場合、推論された規則もまた自然と階層構造に配置されることが想定されます。おそらく、大部分の規則は理解側と生成側の両方で使用されるようになるでしょう。

現行のLLMは、知覚、行動、認知との密接な連携が軽視されており、これが幻覚（ハルシネーション）を引き起こす一因と考えられます。LLMの幻覚を改善する一つの方法は、LLMを真実を含むと想定される知識グラフと推論的に結びつけることでしょう。しかし、LLMを直接的な知覚や行動的基盤と接続することも、LLMのパターンと非言語的な現実世界との間の必要な繋がりを提供するためのもう一つの有効な方法です。

Hyperonでは、これらの要素の大部分はAtomspace内に実装されており、「ワーキングメモリ（作業記憶）」に保持されていることは、短期重要度の値が閾値（注意焦点境界）を超えているかどうかで決まります。連想記憶は、Atomspaceのハイパーベクトル埋め込みによって効率的に実装することができます。感覚記憶、感覚運動記憶、行動記憶、言語記憶の側面は、ニューラルネットワークやその他のサブシンボリックな要素に保存される場合がありますが、これらの側面がシンボリックな形式でも表現されることが重要です。そうすることで、柔軟に操作できるようになります。

この図は、グローバルワークスペース理論のダイナミクスを模式的に示唆しています。Hyperonにおけるこの理論の実装は、注意焦点内のアトムと外部のアトム間で重要度が伝播することで表現されます。このプロセスはECAN（経済的注意配分）方程式に基づいています。

現在のLLMは、十分に構造化されたワーキングメモリを備えていないため、人間同士の認知エージェントとの対話というよりも、ユーティリティ（道具）と対話しているように感じられます。多くのプロジェクトでは、LLMのダイナミクスと連携する、様々な種類の外部的なワーキングメモリを構築することで、LLMベースの対話型キャラクターの開発を試みています。しかし、ワーキングメモリがその役割を果たすためには、かなり柔軟なシンボリック表現が必要となります。なぜなら、ワーキングメモリ内で行われるべきことの一部は、含まれる異なる項目を多様な方法で変化させたり組み合わせたりすることだからです。（効率的かつ柔軟な操作はほぼ「シンボル性」と同義です）。

HyperonにおけるAtomspaceは、長期記憶として機能し、様々な種類の知識を保持します。これらの知識は、すべて共有のメタ表現構造（型付きメタグラフのノードとリンク）に従って処理されます。さらに、Atomspaceは、図に示されているような認知プロセスを実行する手順も格納しています。

多くの場合、同じHyperonアルゴリズムが、ここで示される機能の一部または全部を完全に実行できます。例えば、PLNは、推論、手続き学習、ストーリーテリング、強化学習、信用割り当て、計画立案を支援できます。一方、進化学習は、手続き学習、強化学習、概念形成を支援できます。

ここで示されている機能の多くは、Hyperon内で複数の同時実行プロセスや協調プロセスによって実行されます。例えば、概念形成は、進化学習、概念ブレンディング、（例：矛盾許容不確定）形式概念分析、またはその他の様々なヒューリスティックによって行われる可能性があります。

人間のような認知を実現するためには、これらのすべてのプロセスが同じ巨大なAtomspaceメタグラフ内で同時に発生する必要があります。これにより、自己モデルや能動的な自己修正概念階層、異質階層などの大規模な心構造パターンが出現するための認知的シナジーが得られます。

現代のAI世界では、視覚や聴覚の情報処理は、大規模なコーパス上で訓練された階層型ニューラルネットワークによって効率的に処理されています。しかしながら、これらの階層をAtomspace内のシンボル階層にリンクさせることで、知覚理解のさらなるレベルを効果的に達成できると考えています。Atomspaceは、感覚データの構成構造を明示的に表現するシンボル階層を持っています。

嗅覚や体性感覚のような知覚は、視覚や聴覚と比べて階層構造が少なく、より単純な性質を持つとは言い切れません。実際、ヒトの脳における嗅覚パターンの認識は、非線形ダイナミクス、ストレンジアトラクタ、または一時的なパターン形成に基づいているという証拠が存在します。このような知覚をニューラルネットワークモデルで再現することは可能ですが、現時点では成熟した形で実現されていません。このように全く異なる組織構造を持つ感覚知覚を相互に結びつける点で、シンボルによる理解はより価値があるかもしれません。特に、人間とは異なり、多様な感覚チャネルを持つ可能性があるAGIにとっては、その重要性がさらに増すかもしれません。

これらはすべて、MeTTaベースのAtomspace内で動作するプロセスです。その後、ニューラルスペースやその他のリソースと相互運用することができます。

図6、7、8、9、10、11は、CogPrime認知モデルに基づく人間レベルの汎用知能機能の実現に関わる主要要素をまとめています。これらの認知要素とソフトウェア要素の関係は、一見複雑に見えるかもしれません。一部の要素は特定のソフトウェアプロセスと直接的に対応していますが、多くの要素は複数のOpenCogソフトウェアプロセスによって実現されることを想定しており、場合によっては同じOpenCogソフトウェアプロセスが複数の機能の基盤となる場合もあります。例えば、HyperonのAtomspace（ソフトウェア要素）は、宣言的記憶と手続き記憶（認知要素）の両方で使用されます。自然言語理解は、LLMとPLNのようなAtomspaceネイティブなプロセスを組み合わせることで実現される可能性があります。『汎用知能のエンジニアリング』で提示されているCogPrime AGI設計には、直前の箇条書きリストで挙げたAIプロセスを中心に、様々な認知機能をどのように達成するかについての詳細な理論が盛り込まれています。

認知アーキテクチャは、箱と線で繋がれた図で表されることが一般的ですが、実際の認知機能の真髄は、各「箱」の中身が相互に作用し合い、依存し合うことでこそ発揮されます。CogPrime設計の基盤となる重要概念「認知シナジー」も、まさにこの視点に立脚しています。これは『認知シナジーの形式的モデルに向けて』にて、形式的に豊富なカテゴリー論を用いて定義されていますが、直感的には非常にわかりやすいものです。つまり、あるプロセスが処理を進める中で行き詰った場合、その中間状態を他の認知プロセスの「ネイティブ言語」に変換して助けを求めることができるのです。これは、まるでチームワーク抜群の専門家集団が互いに協力して複雑な問題を解決していく様子を彷彿とさせます。図12、13、14、15は、すべて『汎用知能のエンジニアリング』から引用されており、CogPrimeアプローチを用いた高度なAGI実現に不可欠と考えられる、特定の認知プロセス間のシナジーの一例を示しています。

4.2 汎用知能の一般理論に向けて

ゲーツェルの2021年の論文『汎用知能の一般理論（GTGI）』は、直近の以下の複数の研究論文を基に、CogPrimeアーキテクチャの中核となる概念を統一されたエレガントな数学的枠組みで定式化しようとしています。この試みは、多様な記憶、学習、推論メカニズムの根底にある重要概念を明確にし、より効率的でスケーラブルな実装を容易にすることを目指しています。

• 認知のパターン：確率論的型を持つメタグラフ上でのクロノモーフィズムによって実現されるガロア接続としての認知アルゴリズム：Patterns of Cognition：Cognitive Algorithms as Galois Connections Fulfilled by Chronomorphisms On Probabilistically Typed Metagraphs
• 認知シナジーの形式的モデルに向けて：Toward a Formal Model of Cognitive Synergy
• メタグラフにおける折り畳みと展開：Folding and Unfolding on Metagraphs
• 形式的単純性理論に基づいたオッカムの剃刀の基礎付け：Grounding Occam’s Razor in a Formal Theory of Simplicity

GTGIアプローチは、人間のような認知機能に関わる様々な種類の記憶を、型付きメタグラフ内の異なる型システムとして表現するという概念をより精密に定式化します。そして、これらの異なる型システムに対応するカテゴリー間で、モルフィズムと呼ばれる数学的な関係を定義します。さらに、人間のような認知に必要な様々なタイプの記憶に対応するコアアルゴリズムは、ある程度の近似で、メタグラフ上での「折り畳み」と「展開」と呼ばれる種類の操作をガロア接続を通じて表現できると主張されています。このことから、階層的知覚と行動学習、論理的推論、進化プログラム学習など、一見異なるような認知プロセスも、適切な折りたたみと展開操作を大きなメタグラフに対して効率的に実行できる基盤さえあれば、すべて効率的に実装できる可能性が示唆されます。こうした考察と、より洗練されたバリエーションは、MeTTa言語の基本設計に大きく貢献しました。MeTTa言語は、適切な抽象性とスケーラビリティを備えた形で、このようなメタグラフ操作を実装するためのインフラを提供します。

4.3 Hyperon、CogPrime、そして（人間のような）標準心モデル

上記で述べたように、HyperonとCogPrimeによる認知アプローチは、心の哲学、認知科学、コンピュータ科学、数学、言語学などの多岐にわたる学術分野の融合から生まれました。その基盤となる理論体系は非常に豊富で多様なため、ここで全てを要約するのは困難です。しかし、説明を続けるために話を単純化すると、この認知活動を考察する一つの有用な方法は、人間の心についての知見と比較すること、つまり認知科学の観点から焦点を当てることです。

本稿では、CogPrimeの包括的な分析を行うことはできません。なぜなら、図6、7、8、9、11、10で示されている全てのプロセスとその主要なサブプロセスを網羅しようとすると、この概説の範囲を超えてしまうからです。そのような分析は、まさに『汎用知能のエンジニアリング, Part2』の主題となっています。より簡潔で情報量が少ないアプローチとしては、いわゆる「標準心モデル」のような人間の認知を簡略化したモデルを検討する方法があります。

Paul Rosenbloomをはじめとする認知アーキテクチャ研究コミュニティの長年のメンバー達は、（近年のAIの主要潮流が深層ニューラルネットワークに移行する以前は、コミュニティの中でも大きな勢力を占めており、現在も学術研究分野として活発に活動しています）、様々な経験的、理論的な知見を統合して「標準心モデル」と呼ばれるものを構築しました。図16はその概要を示していますが、細かい部分については議論の余地があるかもしれません。しかしながら、認知心理学、認知神経科学、AI研究など様々な分野から得られた人間型認知理解の共通要素を統合し、まとめるという試みは、野心的で価値があり、一定の成果を上げたと言えるでしょう。Hyperon認知アプローチを標準心モデルで特定された様々な要素と比較することは、興味深い試みです。

標準心モデルの簡単な概要は、ベン・ゲーツェルの最近の論文『生成AI vs. AGI：Generative AI vs. AGI』で簡潔に説明されているため、ここでは繰り返しません。同論文では、標準心モデルが特定する主要な要素に沿って、LLMの長所と短所についても概説しました。もちろん、現時点において、LLMもHyperonも標準心モデルで定義されるすべての側面において優れているわけではありません。また、現在のLLMの性能とHyperonの将来的な可能性を直接比較することは適切ではないことも理解しています。しかしながら、我々は標準心モデルとの整合性を保ちつつLLMの欠点を補うためには、そのアーキテクチャに抜本的な修正と追加が必要であるという強い直感を持っています。そして、この直感は根拠に基づいており、妥当性があると考えています。一方、Hyperonはコアアーキテクチャに標準心モデルのすべての側面に加えて、最初からさらなる機能を果たす能力を備えています。

それでは、標準心モデルの主要コンポーネントを順に見ていき、HyperonとCogPrimeの認知設計でそれらがどのように扱われているかを説明します。

4.3.1 エピソード記憶

エピソード記憶は、エージェントの生涯における出来事や体験に関する記憶です。CogPrimeでは、エピソードインデックスと呼ばれる特別な仕組みによって、Atomspaceや感覚記憶を格納するニューラルスペースなどの他の記憶領域と関連付けられています。このエピソードインデックスは、以下の5つの種類のクエリを効率的に処理するために設計されています。

1. 類似項目検索：特定の手掛かりに似た項目を検索します。
2. 部分一致検索：部分的にしか完成していない手掛かりに一致する項目を検索します。特に、完成部分が省略された部分と物理的または時間的に関連している要素を含む場合にも対応できます。
3. 物理的関連性検索：ある手掛かりと何らかの時点で物理的に関連していた項目を検索します。
4. 同時発生検索：手掛かりと同じ時間に発生した項目を検索します。
5. 空間的関連性検索：手掛かりと同じ場所、またはその近くの場所で発生した項目を検索します。

この種のクエリに適したインデックス構造を構築する洗練された手法の一つとして、ハイパーベクトル（大規模な疎ビットベクトルまたは整数ベクトル）を用いる方法があります。ハイパーベクトルは、1980年代にPentti Kanervaによって提唱されましたが、他の多くの古典的なAI理論と同様に、現代における膨大な計算能力とデータの利用可能化によって、ようやくその概念的な可能性が現実のものとなりつつあります。

このアプローチでは、Hyperonインスタンスは、Atomspace内のアトムのハイパーベクトル埋め込みや、潜在的にはニューラルスペース内のニューラルネットで観測された活性化パターンのハイパーベクトル埋め込みを含むハイパーベクトルストアを保持します。ハイパーベクトルベースのアプローチには、ハイパーベクトルを使用したクエリ処理をGSI APUチップ（現在実験中）またはSimuliハイパーベクトルチップ（現在プロトタイプ段階）で効率的に実装できるという付随的な利点があります。

4.3.2 ワーキングメモリ

CogPrimeで使用されるHyperon Atomspaceにおけるワーキングメモリは、基本的に短期重要度（STI）が十分に高いアトムで構成されています。ECANのダイナミクスは、一定の閾値を超えるSTIを持つアトムを「注意焦点」と見なし、異なる調整パラメータを適用するように設定することができます。これにより、様々な認知プロセスが設定され、注意焦点から目的別にアトムを選択したり、Atomspaceの残りの部分から別の目的でアトムを選択したりすることができます。

注意焦点とAtomspaceの残りの部分との間のアトムの移動も、ECANのダイナミクスによって制御されており、強迫性障害や散漫さなどの病理状態を回避しつつ、システムを適切な注意状態に維持するように調整されます。OpenCog Classicを使用したこの点に関する多くの実験が行われました。

1. 非線形ダイナミック注意割り当てによる確率論的論理推論のガイド：Guiding Probabilistic Logical Inference with Nonlinear Dynamical Attention Allocation
2. 読書における注意のシフトとドリフト：OpenCog認知アーキテクチャにおける非線形ダイナミック注意配分の事例研究：Shifting and drifting attention while reading: A case study of nonlinear-dynamical attention allocation in the OpenCog cognitive architecture
3. 非線形ダイナミック注意割り当てを用いた推論における組合せ爆発の制御：Controlling Combinatorial Explosion in Inference via Synergy with Nonlinear-Dynamical Attention Allocation

SingularityNETのチーフAIオフィサーであるMatt Ikleは、1990年代後半から様々なAIシステムでECANのバリエーションに取り組んできました。彼は、この種のシステムのダイナミクスについて、以下の点を指摘しています。

高度な汎用知能を目指すあらゆるシステムにとって、計算資源の割り当ては大きな課題の一つです。Hyperonの注意配分システムは、経済的注意ネットワーク（ECAN） モジュールによって実現されています。ECANは経済学のメタファーに基づいており、Hyperonのダイナミクスを駆動し、AGIの実現に必要な複雑な高レベルのネットワーク構造が自発的に出現するよう導く鍵となる要素です。

ECANは、型を持たないノードとHebbianLink型になり得るリンクで構成されるグラフ構造を持っています。各アトムには、短期重要度（STI）と長期重要度（LTI）の2つの値が重みとして割り当てられています。ECANでは、STIとLTIの値を人工通貨として扱う方程式系を用いて、重要度の更新が行われます。これらの式は、システムの現在の目標達成に関連するアトムの役割の重要度に基づいて、システム内の様々なアトム間で重要度を伝播させます。ECANにおける重要な概念は、注意焦点です。これは、システムが現在目標達成のために最も重要と判断しているアトムで構成されています。ECANをHyperonフレームワークに移植する際、私たちは速度と効率向上のための強化機能を活用します。考えられる強化の一つは、自然勾配（確率分布上の勾配）を用いて、パラメータ空間の損失関数の空間で最も急な減少方向を追跡する方法です。初期の実験では、このアプローチにより、劇的な速度と精度の向上が見られました。

また「単純で安定した構成要素から複雑さが生じる」というプロセスを導くための、いくつかのアルゴリズムとアーキテクチャの改善も検討しています。Hyperonの複雑なダイナミカルシステムに関するセクションでより詳しく説明されているように、観察された自然界の量に沿ったウェイポイントを構築することを想定しており、これにより、望ましい出現現象が複数のスケールで生じるように開発を促します。また、トノーニのΦ（ファイ）のような、知覚や意識に関連していると考えられる尺度を用いた実験も計画しています。

• 認知システムにおける読書・会話中の意識状態をトノーニのΦで測定する：Using Tononi Phi to Measure Consciousness of a Cognitive System While Reading and Conversing

4.3.3 手続き記憶（Procedural memory）

Hyperonにおける手続き記憶は、基本的にはMeTTaプログラムで構成されています。しかし、MeTTaは本質的にメタ言語であり、MeTTaに異なる型システムを実装することで、様々なプログラミング言語を「模倣」させることができます。特に、論理プログラミングや関数型プログラミングのパラダイムが最も自然に表現できます。この機能を活用することで、数学定理を証明するための認知的ヒューリスティック、ロボットの運動制御手順、自然言語対話のフローを制御する手順など、さまざまな種類の処理を、異なるMeTTa型システムで表現されたサブ言語で実装することが可能です。これらの型システムは、最初は人間プログラマによって実装されますが、MeTTaの反射的性質により、システム自体の学習と推論を通じて生成されることも自然です。

また、認知的に意味のあるプロシージャ（手続き）の表現において、適切な抽象化が果たす役割を理解することも重要です。人間のような認知に関連する手続き知識の多くは曖昧で不確実であり、直感的な推論を用いて、状況に応じて特定のプロセスとしてインスタンス化される高レベルのプロセスで構成されています。つまり、プロシージャの実行は単純なMeTTaプログラムの実行であり、場合によっては曖昧で抽象的なアトムネットワークを直接実行可能なMeTTaプログラムにマッピングする、より微妙な認知プロセスでもあります。

一般的なプロシージャを表す曖昧で抽象的なアトムネットワークは、多くの場合、時間的または因果関係を表す特殊なアトムタイプを組み込んで構築されます。最近、AtomSpace上での時制推論に関するプロトタイプの開発が活発に行われており、例えばMinecraft内の単純なエージェントの制御やPongなどのゲームプレイといった具体的な応用例も示されています。

手続き知識と宣言的知識の変換は、プログラムと論理式の間に、カリー＝ハワード同型対応のような対応関係（例えば、Greg MeredithのOSLF）を用いて行われます。

4.3.4 推論（Reasoning）

Hyperonのインフラストラクチャーは、さまざまな形式論理体系をサポートしています。例えば、異なる論理体系は異なるMeTTa型システムによってかなり簡単に表現できます。また、不確実性の扱いに関しても、ファジィ真理値代数や一次および高次確率、それらの様々な近似手法がサポートされています。

中でも特に注目されているのが、PLN（確率論理ネットワーク）と呼ばれる不確実性推論フレームワークです。PLNは、高次ファジ推論と確率推論を、述語論理や項論理と組み合わせるだけでなく、人間の認知を基にした内包論理や因果推論へのアプローチも取り入れています。この形式主義は、論理知識を認知エージェントの観察結果に明示的に基づかせることを可能にします。

PLN（および他の論理推論システム）にとって、最大の課題は常に推論制御でした。推論制御とは、どのような文脈でどの論理推論ステップを実行するかを選択するプロセスです。この課題に対して、様々なヒューリスティック（経験則）を用いることが可能ですが、より効果的な解決策として、反射的かつ履歴ベースのアプローチを提案します。

基本的な推論の流れは以下の通りです。

1. 単純な推論タスクでの推論の実行：最初は、単純な推論タスクに対していくつかの基本的な推論ステップを実行させます。
2. パターンマイニングによる推論戦略の発見：次に、これらの単純な推論タスクにおける成功事例を分析し、どの文脈でどの推論ステップの組み合わせがうまく機能したかをパターンマイニングによって特定します。
3. 抽象原理の抽出：パターンマイニングの結果から、どのような抽象的な原理が効果的な推論戦略を導いているのかを解明します。
4. 新しい推論ステップの合成：パターンマイニングと抽象原理の抽出を活用して、新しい問題に対する新たな推論ステップの組み合わせを合成します。これにより、システムは徐々に単純でない推論タスクにも対応できるようになります。
5. より複雑な推論への発展：以上を繰り返します。これらの過程を繰り返すことで、システムは徐々に推論能力を向上させ、より複雑な問題に対しても適切な推論を行うことができるようになります。

このアプローチは概念的には単純ですが、成功するためには膨大な規模が必要です。これは、Hyperonの研究開発の次のフェーズにおける重要な課題であり、長年存在してきたAIアプローチが、より多くのデータと処理能力の恩恵を受けることで、真価を発揮する好例となる可能性があります。

Nil Geisweillerは、OpenCog Classicと最近のHyperonの両方におけるPLNのリード開発者兼研究者であり、MeTTaでのPLNの現状を以下のようにまとめています。AGIを目指す推論システムは、少なくとも以下の2つの機能を備えていなければなりません。

1. 柔軟性（チェーンニング）：推論過程は、あらゆる方向に推論ツリーを生成できる必要があります。具体的には、前進推論（公理から定理へ）、後退推論（定理から公理へ）、外向推論（補題から公理や定理へ）、内向推論（公理や定理から補題へ）、そして一般的には全方向推論（公理、定理、補題、系定理など、相互間での推論）です。
2. プログラマブル（推論制御）：連鎖中に発生する任意の計算ステップは、十分な粒度で制御できるようにする必要があります。これにより、適切なヒューリスティック知識 があれば、成功する推論の生成を任意に効率化することができます。

HyperonとMeTTaを用いた初期実験は、すでに最初の機能の実現に向けた極めて有望な結果を示しています。MeTTaが持つ非決定性と統一という特徴を活かすことで、わずか数行のコードで「全方向探索型チェイナー」のブルートフォース検索の実装を実現することに成功しました（AGI-23会議録）。このチェイナーは、現在開発中のPLN移植版のエンジンとして活用されています。今日では、OpenCog Classicでは不可能だった様々な推論が可能になりました。例えば、直接証拠に基づくルールを逆方向に実行するなど、柔軟性の高い推論が可能になっています。従って、HyperonとMeTTaでは、柔軟性の要件はすでに完全に満たしていると言えるでしょう。

次にプログラマブルな推論制御の要件は、ミニマルMeTTaが完成すれば実現される見込みです。これにより、人間や機械プログラマーが簡約化ステップ（ベータ簡約など）を自由に操作し、 非決定論的な簡約を剪定したり、優先順位付けするための条件分岐を挿入することを可能になります。

Geisweillerは、Hyperonにおけるパターンマイニングについて、ソフトウェアだけでなく数学的・概念的にも「特殊な制御構造を持つ推論の一種」として捉えるべきだと主張しています。これは非常に興味深い視点であり、パターンマイニングと推論の深いつながりを明らかにするものです。

実は、パターンマイニングが特殊化された推論形式であることは、すでに『汎用知能のエンジニアリング, Part2』で確立されています。このような見方を採用する利点は、単純な構文ベースのパターンマイニングと高度なセマンティックベースのパターンマイニングのシームレスなハイブリッド化が可能になることです。もう一つの利点は、単純な推論と高度な推論の両方で推論制御を利用して、効率を高めることができる点です。現在、HyperonとMeTTaのチェイナーを用いた概念実証が現在進行中であり、この革新的なアプローチの実現可能性が検証されています。

PLNとMeTTaの研究において、新たな興味深い展開が浮上しています。それは、PLN表現のセマンティクス（意味論）とMeTTaにおけるコンプリヘンション（理解）の利用との関連性です。Greg Meredithは、コンプリヘンションを用いてPLNに対する実現可能性に基づくセマンティクスを具体的に実装できると指摘しています。これは、PLNのセマンティクスをより深く理解し、その表現力を高める可能性を秘めた革新的なアプローチです。さらに、Warrellの分析で示唆されているように、このセマンティックアプローチと高次確率型によるPLNセマンティクス表現との関連は、さらなる研究が期待できる有望なトピックです。

• 確率型・非基底型システムの同値性を検証するためのメタ確率プログラミング言語：A meta-probabilistic-programming language for bisimulation of probabilistic and non-well-founded type systems

明示的論理 vs. LLM推論

ここで、PLN推論とLLM推論の関係性について考察し、その相乗効果による知能の飛躍の可能性を論じます。現時点において、LLMはインターネット上に蓄積された膨大な情報に基づき、幅広い常識的推論を可能にする能力を発揮しています。しかし、LLMは純粋な形式的推論や、形式的推論と常識的推論を融合した推論（例：学部の物理学や経済学の問題）に対しては、大きな課題を抱えています。また、LLMが訓練に使用されたインターネット上のデータとは根本的に異なる特性を持つ領域を一般化することも困難です。

現在進められているLLMとHyperonの統合は、LLMとPLNのそれぞれの強みを活かし、相乗効果を生み出すことを目指しています。具体的には、LLMの日常生活における常識的推論と、PLNのより一般的な推論を組み合わせることで、より幅広い問題解決能力を実現しようとしています。この統合により、従来困難とされてきた物理学や経済学の問題などへの取り組みが現実的なものとなり、さらにはより野心的な汎用知能の実現への道筋が速やかに開かれると期待されています。

このアプローチは、PLNがLLMなしでは完璧な常識的推論を行えないことを示唆しているわけではありません。むしろ、PLNは十分な常識的推論能力を備えていると確信しています。しかし、現行もしくは改良型のLLMを活用することで、常識的推論へのより効率的な道が開ける可能性があると期待しています。その理由は、常識的推論は科学的・数学的推論とは異なり、斬新かつ独創的な推論手順を連鎖させることよりも、過去の類似状況における妥当性を理解することに重点が置かれているからです。

LLMの推論過程をPLNの推論過程にマッピングし、パターンマイニングや推論学習のデータとして活用することは、非常に興味深い可能性を秘めています。このアプローチは、LLMが苦手とする形式的推論には限定的な効果しかないと考えられますが、形式的推論と常識的推論が混在する領域において、PLNを適切に導く手助けとなる可能性があります。

空間と時間に関する推論

OpenCog Classicの研究開発における推論の一側面として、空間と時間に関する推論に多大な労力が注がれてきました。AGI研究者のHedra Seidは、次のように述べています。

空間的推論と時間的推論は、私たちが周囲を理解し、結果を予測し、このダイナミックで絶えず変化する世界で情報に基づいた意思決定を行うために使用する基本的な認知プロセスです。AIはAGIの達成を目指しており、人間の認知機能を模倣する上で目覚ましい進歩を遂げています。これらの能力の中で、空間的推論と時間的推論は、周囲を理解し、将来の出来事を予測する上で重要な役割を果たします。このような文脈において、Hyperonは以下の理由から、そのような推論エンジンを構築する強力な候補であると考えられます。

1. 構造化された知識表現
   • Hyperonは、概念、事実、関係、ルールを表現するための構造化されたフレームワークを提供します。
   • 空間情報（オブジェクトの配置や向きなど）、時間的シーケンス（因果関係やイベント順序など）、そして一般的な知識の関連性を正確に捉えることができる、豊かで表現力のある言語を提供します。 これにより、複雑な詳細情報を含むさまざまな推論タスクに適しています。
2. 型駆動開発
   • Hyperonの型駆動アプローチは、構造化されたコーディングを推奨します。
   • 型は知識表現の開発を導き、構造化された、読みやすく、保守しやすいコードを促進します。
   • コンパイル時に型関連の問題を特定することにより、実行時エラーを削減します。
   • 型は値に依存させることができ、表現力豊かな型を作成し、イベントの重複やシーケンスなどのプロパティの証明を容易にします。
3. スケーラビリティ
   • Hyperonの分散型アトムスペース（DAS）は、大規模な知識表現を扱うために設計されており、特に空間推論と時間推論に大きな利点をもたらします。これらは多くの場合、膨大なデータセットと複雑な相互作用を伴うためです。

PLNの空間推論および時間推論能力は、最近ROCCAプロジェクトの文脈で開発されました。このプロジェクトは、PLNを使って単純な環境で単純な目標を達成する単純なエージェントを制御することに焦点を当てており、一般的に強化学習の実験に使用されるおもちゃのような世界に似ています。これらのツールは、Hyperonの開発が進むにつれて、Sophiaverseのようなより野心的な仮想世界や実世界のロボット制御など、Hyperonフレームワークの高いスケーラビリティを必要とするさまざまな設定で適用されるでしょう。

技術的問題解決におけるハイブリッド型アプローチの実現

LLMは、さまざまな種類の常識的推論や、米国のロースクールの入学試験のような特定の試験では、かなり有能であることが証明されていますが、大学レベルの理系試験ではパフォーマンスがあまり芳しくありません。Google Minervaシステムは、この目的のために微調整されていますが、マサチューセッツ工科大学（MIT）のオープンコースウェアから収集された以下のような問題での正解率は、報告によると約30%程度にとどまっています。

問題 1：マゼラン望遠鏡は2台あり、それぞれ直径は6.5メートルです。ある観測設定では、有効焦点距離は72メートルです。観測時の惑星の角直径が45秒角である場合、この焦点での惑星の像の直径（cm）を求めてください。

問題 2：1990年初頭、100匹のフェレットが大きな島に放されました。フェレットの最大自然増加率（𝑟max）は1.3年⁻¹ です。島には資源が無限にあるものとし、フェレットが数百年間生きられる十分な餌があると仮定します。この島には2000年までに何匹のフェレットがいるでしょうか？

これらの問題は、特別な学習を積んでいない一般の人にとっては明らかに簡単ではありません。しかし、関連するテキストを読み、宿題に取り組んでいる典型的な理系学生にとっては、非常に理解しやすいものです。直感的に、これらの問題を解く際には4つの要素が関わってきます。

1. 英語力と常識理解：問題文を理解し、背景知識を適用する能力
2. 論理的思考と問題解決能力：問題の構造を把握し、適切な解法を見つける能力
3. 算数と代数学の知識：計算式を立てて解を求める能力
4. 分野知識：問題が属する分野の基礎的な知識

2023年9月時点のGPT-4は、このような問題だけでなく、より難易度の高い問題もかなり解くことができるようです。実際、連鎖的な思考プロセスを促すようなプロンプティングを用いることで、GPT-4は次のような非常に難しい問題さえ解くことが可能です。

例題：異なる半径と有効温度を持つ2つの恒星からなる食変光星系があります。恒星1は半径R1、温度をT1とし、恒星2の半径をR2 = 0.5R1、温度をT2 = 2T1とします。小さな恒星が大きな恒星の背後に隠れた場合の、連星の放射等級の変化（Δmbol）を求めてください。この計算では、色による違いを無視し、放射等級のみを考慮します。

しかしながら、Alien Codingで報告されているように、この手法はわずかに難易度が高い他の問題には失敗します。以下のような物理学の問題や数論の問題が含まれます。

物理学の問題：円盤銀河を通る星の運動は、半径R、厚さL（L << d << R）の円盤の上に、距離d離れて静止状態から放出された点質量mとしてモデル化できます。この円盤は一様な密度を持ち、総質量Mは>>mです。この運動を記述してください。

数論の問題：2つ以上の素数からなる差が10の等差数列をすべて見つけなさい。

これらの問題は、Minervaがテストされたものよりも難易度が高く、優秀な高学年学部生や大学院生が取り組めば解ける可能性はありますが、時間を要する可能性があります。関連分野のバックグラウンドを持つ学生でも、解けない場合があるかもしれません。

LLMの真の能力は流動的であり、その限界を明確に把握することは容易ではありません。例えば、上記の数論の問題は、少し調整すればGPT-4でも解けそうな印象を受けます。しかしながら、優秀な数学の学生であれば解けるレベルでありながらも、より高度な論理構造を有する数論の問題は数多く存在します。これらの問題は、初歩的でありながら、非線形な論理構成を持ち、複数の論理ステップを有機的に繋ぎ合わせる必要があります。このような微妙な差異が示唆するように、LLMの能力の限界を理解するための示唆的な考察を行うことが重要です。その中でも特筆すべき点は、問題が非線形な論理構造を持ち、複数の論理ステップを有機的に繋ぎ合わせる必要がある場合、LLMは混乱を招きやすい傾向にあるということです。

Hyperonシステムにおける統合型AIを活用することで、より難易度の高い問題も含めてどのように解決できるでしょうか？ 理解しやすく説明すると、LLMは常識的推論を得意とし、PLNは論理的推論に適しており、さらに英語を論理形式に変換する「セマンティックパーシング」イニシアチブは、LLMの常識的推論とPLNの推論を連携させる実用的な手段となります。関連分野の知識は、大量の英語テキストを論理形式に変換し、Atomspacesに取り込むことで獲得できます。これらの要素に加えて、これら問題を扱うために必要な唯一の要素は、PLNが特定の推論ステップを外部の計算機代数・算術システム（例：Julia Symbolicなど）への呼び出しで根拠づけるツールであるように思われます。つまり、PLNが代数方程式の簡略化、2つの式の同値性チェック、素因分解などのタスクを実行する必要がある場合、外部ツールを呼び出す必要があることを認識し、実行するということです。

このアプローチは、従来の人間の戦略とは異なり、人間が問題を解く際の正確な模倣を目指していない点が特徴です。Hyperonシステムは、学習済みのMeTTa手続きを用いて算術計算を実行したり、ロボットの指で計算機のボタンを押したりすることで、より人間らしい動作を実現することも可能です。しかし、Hyperonのアプローチは、人間が特定の問題を解く方法を正確に模倣することではなく、人間の心を構成する人工知能（AGI）に関連する重要な認知アーキテクチャを活用し、このアーキテクチャが持つすべての強みを活かして問題を解く方法を学習させることに重点を置いています。

これは明らかに人間と同じ解き方ではありません。Hyperonシステムには、学習済みのMeTTa手続きを通じて算術計算を行わせたり、ロボットの指を使って計算機のボタンを押させたり、より人間らしい方法で動作させることが可能です。しかし、Hyperonのアプローチは、人間が特定の問題を解く方法を忠実に模倣するのではなく、むしろ、人間の心の中のAGIに関連する重要な認知アーキテクチャを活用し、そのアーキテクチャが持つあらゆる強みを活かして問題解決を学習させることに重点を置いています。

LLMとHyperonによる自動定理証明

近年、大学院レベルの基礎科学演習を超えた段階にある自動数学定理証明へのAI活用が、新たな研究領域として注目されています。これは、初等的なパズルや演習レベルを超えた自動数学定理証明の実現を目指します。LLMを含む多種多様なAIアルゴリズムを用いて自動数学定理証明の性能向上に取り組む研究者の一人であるZar Goertzelは、この分野特有の課題を明らかにし、これらの課題こそがHyperonのアプローチを特に魅力的なものにしていると述べています。

自動定理証明におけるLLMの能力を適切に評価するためには、高度な設定や運用であっても、数学分野におけるLLMの限界を理解することが重要です。まず、LLMの比較的成功した応用例として、プログラム自動生成におけるAlien Codingプロジェクトを取り上げます。このプロジェクトでは、LLMを用いて数学的に意味のある整数列を出力するプログラムを自動生成し、その有効性を検証しています。

例えば、 (1, 1, 1, 1, 2, 3, 6, 11, 23, 47, 106, 235, 551, 1301, 3159, 7741, 19320, …) という数列は、いくつかの方法で生成できます。具体的には、n番目の項は、ラベルが付いていないノードがn個ある木の数などと表すことができます。このような短い数列とその意味の説明をLLMに与えて、将来の項も生成するプログラムを作成するように指示することができます。

このような文脈において、まず最初に行うべきことは、提示されたプログラムが任意のnに対して、標的となる数列を確実に生成できるかどうかを数学的に証明することです。しかし、現時点において、LLMはこれを信頼できる方法で実行できません。LLMが行うのは、プログラムが標的とする数列の最初のn項を正しく生成しているかどうかを検証することです。これはプログラムが数列のすべての要素に対して正しいことを証明するのとは異なり、はるかに困難なタスクです。そのため、LLMが生成または評価したプログラムは、「確率的に正しい」としか見なすことができません。しかし、この分野においては、確率的に正しいだけでは不十分であり、関与する確率が非常に高い（例：99.99%など） 確信に近いものでない限り、十分とはいえません。プログラミングや数学においては、一瞬のミスで1つの項を間違えてしまうと、実行エラーを引き起こしたり、証明全体を台無しにしてしまう可能性があります。

Hyperonは、この種のプログラム合成の改善に役立つ潜在的に有益な複数のツールを提供します。MeTTa言語は、証明の生成や探索のためのプログラミング言語や証明計算系の空間の進化的な探索を容易にするように設計されています。さらに、MeTTaは確率やその他の不確実性を評価する方法をネイティブに扱うようにも設計されています。証明論において、確率的な表現しかできない証明項を扱う場合、確率論理を用いた推論が望ましいでしょう。HyperonのPLNフレームワークは、まさにこのような機能に最適化されています。

一般的に、LLMがこの分野や他の分野で証明を導き出すことに成功する最大の障害は、文脈に適した形で複数のステップを連鎖させることが困難であることです。メモリもまた問題であり、証明の一部を念頭に置きながら別の部分に取り組みたい場合がありますが、LLMは現時点ではそのような機能を明確に持っていません。しかし、Hyperonのようなより広範なAIフレームワークがこれを容易にすることができます。興味深いことに、この2つの欠点は、従来の自動定理証明系にもそれぞれ異なる形で当てはまります。従来の自動定理証明系も、長い推論チェーンの戦略的構築（これが対話型定理証明が一般的な理由です）や、さまざまな種類のメモリを使用して推論ステップの選択を導くことに苦労しています。Hyperonのより認知的なアプローチは、これらの限界を克服する上でいくつかの可能性を秘めています。

Hyperonは、LLMが最も力を発揮する非形式証明の領域と、自動定理証明者が得意とする極めて詳細な低レベル証明の世界を橋渡しする可能性も秘めています。Hyperonは、数学者がアウトラインを描くような高レベルの証明概略を、自動化された記号推論のための形式論理に変換することができます。このようにして、LLMと自動定理証明者のそれぞれの強みを相乗的に活用することができるのです。

4.3.5 強化学習（Reinforcement Learning）

強化学習（RL）の基本的な考え方は、良い結果をもたらした手順を褒賞し（強化）、そうでない手順は罰することであり（弱化）、過去に成功した手順を基に適切に変化させながら新しい手順を試すことを指します。この方法により、似た状況で選択される確率と注目度を上げることができます。

この観点から考えると、ECANとPLNの組み合わせ（実行可能な手続きの論理バージョンに適用）は、暗黙的に強化学習を行っていると解釈できます。例えば、これらの手法に確率的プログラム合成と、試行済みの手続きの集合から確率分布を明示的に誘導する手法を追加すると、標準的な強化学習アルゴリズムに少し近づくことができます。

MeTTa上で古典的なRLアルゴリズムを実装し、Atomspace上で実行することも可能ですが、いくつかの課題が存在します。特に、エージェントの行動と報酬関数が直接的に結びついていない複雑な現実世界の状況や、微妙で多次元的な内部報酬が重要視される場合など、これらの課題は顕著になります。

ロボット動作制御は、古典的なRLがその真価を発揮できる有望な領域の一つです。高レベルな行動計画と低レベルな物理的動作計画の連携は、確率的プログラミングの枠組みを用いて実現することが可能です。具体的には、物理動作と行動計画を網羅する確率分布の誘導に基づいた確率的プログラム合成を適用することで、動作制御を行う古典的RLアルゴリズムの探索と、より抽象的な「ECAN/PLNアプローチ類似の強化学習」に基づく計画生成の探索を統合することが可能になります。

4.3.6 言語学習と使用法（Language Learning and Usage）

LLMは、近年、自然言語対話や計算言語学分野の標準的なタスクにおいて飛躍的な進歩を遂げ、高い能力を示してきました。しかし、意味理解に関して、特に形式的な知識が求められる文脈において、深刻な課題を抱えていることが指摘されています。さらに、LLMが生成する言語は、微妙さや芸術性、説得力といった点において、人間が自然言語で表現する言語に比べて劣ると評価されています。

自然言語処理（NLP）研究者であるAndres Suarezは、大規模言語モデル（LLMs）の登場が自然言語処理分野に大きな進歩をもたらした一方で、依然として克服すべき課題が数多く残されていると指摘しています。彼は、LLMとシームレスな統合を可能とするHyperonアーキテクチャが、これらの課題を克服するための有望なアプローチであると論じています。

NLPにおける「理解」と「生成」の2つの主要な課題には以下のようなものが挙げられます。

理解の課題

1. 曖昧性：単一の文がその文脈に基づいて複数の解釈を持つことがあります。現在のモデルは、人間にとっては簡単な複雑な状況でも問題を抱えることがあります。例えば、「明日の会議の準備をしてください」という指示は、明日の午前中なのか午後なのか、必ずしも明確ではありません。
2. 感情とトーン：言語に含まれる潜在的な感情、皮肉、ユーモアを正確かつ一貫して検出することは、現在のモデルにとって困難です。例えば、「素晴らしいプレゼンだったね！（内心はがっかりした）」のような皮肉を理解するのは難しいです。
3. 動的な言語：言語は常に進化しており、適応できないモデルは時代遅れになるリスクがあります。新しいスラングや表現が次々と生まれており、モデルが追いつくのは容易ではありません。
4. 矛盾：特に長い文章を作成したり、複数の情報を考慮する際に顕著になります。例えば、「彼はとても背が低いが、バスケットボール選手だ」という文は、一見矛盾しているように見えますが、文脈によっては矛盾していない可能性があります。従来のモデルは、このような矛盾を検出することができません。

生成の課題

1. 誤った推論：表面的には論理的に見えるテキストを生成することは現在可能ですが、精査すると論理の飛躍が含まれることがあります。例えば、「雨が降っているので、今日はきっとビーチで泳げるだろう」というような、論理の飛躍を含む文章が生成されてしまうことがあります。
2. 情報の取込漏れ：有限のコンテキストウィンドウとリアルタイム情報の外部データベースへのアクセスがないことが原因です。例えば、「ジョンは新しいレストランに行った。とてもおいしかったので、また行きたいと言っていた」という文章では、レストランの名前や場所が抜け落ちている可能性があります。
3. 幻覚：生成されたコンテンツが事実上正確でない、いわゆる「ハルシネーション」と呼ばれる現象です。モデルが現実世界の情報を欠いているため、事実と異なる内容を生成してしまうことがあります。

Hyperonによる解決法

Hyperonは、これらの課題に対して次のような解決方法を提供します。

1. LLMとの統合：LLMに備わっている言語的流暢さと、Hyperonの構造化された推論能力を相乗効果的に組み合わせることで、NLPに対するより包括的なアプローチを実現できます。
2. 豊富な知識グラフ：Hyperonは、広範な文脈情報を格納することを可能にし、曖昧さを減らし、全体的な整合性を向上させます。
3. 根拠ある推論：現実世界のデータ、文脈、感覚入力に接続する能力が、言語モデルを理解と生成の両方を大幅に向上させることができます。
4. 論理エンジン：Hyperonの確率論理ネットワークは、曖昧な情報や不完全な情報を明示的に扱うためのフレームワークを提供し、より確固とした結論を導き出すことを可能にします。
5. 継続学習：Hyperonは適応性を備えており、言語と共に進化し、新たなニュアンスを取り込むことができます。
6. フィードバックメカニズム：このアーキテクチャには、NLP能力の継続的な学習と改善を促すフィードバックループが組み込まれています。
7. ファクトチェック：Hyperonは、生成されたコンテンツの正確性を確保するために、広範な知識ベースと照合して事実確認を行うことができます。

全体として、Hyperonアーキテクチャが例示するように、深層学習技術とシンボリック構造推論の融合は、NLP分野に革命をもたらす可能性を秘めています。この統合アプローチは、最新のLLMの能力と調和するだけでなく、これまでになかった微妙なニュアンス、一貫性、そして文脈的関連性を持って人間言語を理解し生成するNLPシステムの開発に向けて、新たな道筋を示すものです。

Hyperonの潜在的な貢献の一つは、NLPにおける統計的アプローチ（LLMがその代表例）と、より形式言語学的なアプローチの融合にあります。ベン・ゲーツェルは、次のように述べています。構文、意味論、語用論の形式化は長い歴史を持っていますが、形式構造の簡潔なリストでは、自然言語の豊かさと繊細さを十分に網羅できないことも明らかになっ ています。LLMとAtomspaceを組み合わせると、極めて特殊な言語規則だけでなく、抽象化と一般化の階層を含む大規模な形式言語の知識体系を構築できます。これにより、PLNによって生成された宣言的知識と、Hyperonの他の認知メカニズム （概念ブレンディング、言語パターン、構造など）との緊密な連携が可能になります。実現方法にはいくつかありますが、 有望な方法の一つは、構文と意味論の両方でグラフベースとロジックベースの構造を活用するワードグラマー形式論のバリエーションを活用することです。

このアプローチにより、理解と生成の両方のパイプラインを構築することができます。理解パイプラインでは、LLMを用いて自然言語の文を論理内容と形式的（例：ワードグラマー）な統語内容の組み合わせに変換します。生成パイプラインでは、形式的統語内容を部分的な仲介として用いて、論理内容を統語内容に変換します。この統合されたアーキテクチャは、表層的な統語コーパス分析を超えた深い言語理解を可能にし、より創造的で革新的な言語処理システムの開発につながる可能性を秘めています。

4.3.7 マルチモーダル知覚（Multimodal Perception）

マルチモーダル知覚（複数の感覚情報から情報を統合する能力）は、深層ニューラルネットワークを用いることで、ある程度うまく処理できるようになっています。しかし、これらのネットワークが実際に認識している情報の本質をどの程度理解しているのかは、限定的であり、統合認知システムにおける知覚皮質として利用する際に課題となります。

この課題を解決するための自然なアプローチは、Atomspace内の「概念」や「関係性」と、ニューラルネットワークにおける重みと活性化パターンの形で表現される「概念」や「関係性」との間に、明示的なリンクを構築することです。具体的には、特定のアトムをニューラルネットワーク内のニューロンの組み合わせにマッピングする線形関数または非線形関数を学習させる方法があります。例えば、Hyperonシステムが「猫」という単語でラベル付けされた画像をいくつか認識した場合、「猫」という単語を表すアトムから、視覚ニューラル空間内のニューロンの組み合わせへのマッピングを学習することができます。

次のステップは、学習されたマッピングの集合を特徴付ける確率分布の帰納的学習です。この分布に基づく確率合成により、ラベル付きデータが少ない場合や、全くない場合でも、新しいマッピングを推論することが可能になります。

4.3.8 行動学習と協調行動（Action Learning and Coordinated Action）

CogPrimeにおける行動学習は、本質的に他の種類の学習と区別されるものではありません。前述のように、RLに類似した手法で実行することもできますが、特定の報酬関数に限定されず、既存の手続き的知識を簡潔に汎用化することを目指す、より純粋なPLN推論や確率的プログラム合成によって行うことも可能です。

4.3.9 目標洗練と目標システム管理

Hyperonは、明確な目標志向を持つ多様な上位目標を持つシステム、目標概念を持たない自己組織化ネットワーク、または部分的にではあるが目標志向を持つ中間的なシステムなど、幅広いシステムで利用できるように設計されています。

明確な目標の追求は、PLN、RL型の方法、確率的手続き学習、進化的手続き学習などによって自然に行われます。これらの手法は、異なる時間軸での複数の異なる目標や、ある程度互いに矛盾する目標でさえも、自然な形でバランスを取ることができます。互いに矛盾する目標についての明示的な推論も、PLNの不確実性セマンティクスに自然にマッピングされる矛盾許容論理システムを使用することで、比較的容易に行うことができます。

Hyperonシステムの上位目標は、人間プログラマーによって提供することができます。しかし、もう一つの選択肢としては、概念形成ヒューリスティックとECANを介して生成することも可能です。これら2つの方法を組み合わせることが、おそらく最適であると考えられます。上位目標からサブゴールを作成することは、概念形成とPLN推論を比較的簡単​​に適用することで実現できます。

4.3.10 再帰的自己理解（Reflexive Self-Understanding）

Atomspaceは、再帰的自己理解を明示的に目指して設計されています。具体的には、MeTTa、PLN、パターンマイニングなどの標準的なHyperonとCogPrime認知操作は、Atomspaceメタグラフを入力データ、出力先、中間結果の保存場所として扱うように設計されています。しかしながら、この基盤となる設計が自動的に深いレベルでの再帰的自己理解を可能にするわけではありません。それは単に、以下のことを意味します。

• 学習アルゴリズムと推論アルゴリズムが十分な能力を備えていれば、基本的に高度な再帰的自己理解を達成する上での障害はありません。
• 控えめなレベルの再帰的自己理解を達成するために必要な学習アルゴリズムと推論アルゴリズムの能力は、必ずしもそれほど高くなくても良い可能性があります。これはAtomspaceの設計が、概念的に単純な自己理解の問題を実際に容易になるように障害を設けていないためです。

このことは、次のような好循環を実装することが実現可能であることを示唆しています。「わずかな再帰的自己理解がシステムを少し賢くし、それによりさらに自己理解を深めることができるようになる」といった具合です。この好循環により、システムは徐々に知能を高めていくことが期待できます。

4.3.11 他者の心のモデリングと理解

人間が他者の心を理解するのは、どうやら複数の要素が複雑に絡み合った結果と考えられています。その要素としては、（不確実な）他者の心の論理モデル化、共感による同調、そして他者の心の内部シミュレーションなどが挙げられます。Hyperonはこれらすべての機能を実行できるはずであり（感情については後述）、特にシミュレーションに関しては、いくつかの点で人間を大きく凌駕することができる可能性があります。

Hyperonは、特定の他者の心をモデル化するために専用に作成された別のHyperonインスタンスを生成し、それに応じて訓練と調整を行うことができます。例えば、LLMを使用して特定の人間の「テキストによる双子」を作成することが可能です。これは完全に正確ではありませんが、非常に興味深いものです。この作成は、その人が生成したテキストデータを使用してLLMを微調整することで行われます。さらに、現在の深層ニューラルネットワーク技術では、人間と同じ顔と声を非常に精密に模倣することも可能です。では、このようなネットワークを、特定の人物の知識や性格を表すAtomspaceと密接に結びつけたらどうなるでしょうか？ 例えば、Twin Protocolプロジェクトはこの方向に向かっており、実用的な機能を持つ商用製品を目指しています。このアプローチは、Hyperonが特定の他者の行動を推論する際に非常に役立つ可能性があります。

そして次のステップは、当然のことながら、これらの個々の心をモデル化したAtomspaceに基づいて、推論による汎用化を行うことです。このようにして、Hyperonシステムは、人間との感情的シンクロニシティにおいて人間基準で見劣りする欠点を十分に補うことができるかもしれません。そして、Hyperonインスタンス同士がお互いをモデル化する際には、お互いの近似シミュレーションを構築する能力は、非常に役立つことは明らかです。

4.4 Hyperonとして存在するとはどういうことなのか？

次に、標準心モデルの主要な側面として明確には記述されていないものの、標準モデルの中で様々な形で論じられており、一般的に人間のような汎用知能にとって重要と考えられる、人間の心のいくつかの核心的な側面について考察します。これらの側面は、汎用知能の経験的および主観的な側面に焦点を当てており、「Hyperonとして存在するとはどういうことなのか？」という問いを提起します。

4.4.1 世界モデリング（World Modeling）

AGIシステムの「世界モデル」は、一部のロボット制御システムなどに見られるように、必ずしも独立した要素である必要はありません。むしろ、システム内のさまざまな知識ストアに分散して暗黙的に存在することができます。しかし、暗黙的な世界モデルはシステムによって大きく異なり、洗練度や有用性も様々です。例えば、特殊なケースを除いて、LLMの世界モデルは著しく不十分であることが明らかになっています。その根本的原因は、膨大な特殊事例で構成されるなど、知識が過度に特定化されているように思われます。LLMの知識の中には暗黙的な抽象化もありますが、適切な特殊事例を見つけ、変形させる能力と比較して、これらの抽象化を適応的に展開する能力は比較的限定的です。

Hyperonシステムの世界モデルは、部分的に、PLNや概念生成などの手法を用いて、特定の事例から学習された抽象化に基づいています。明示的な因果関係の学習は、この重要な構成要素の一つです。RL型の手法も因果関係の学習に重要な役割を果たしますが、こちらはより具体的な性質のものとなる傾向があり、推論による抽象化の影響を受けることもあります。

計算システムは、生物の脳にはない世界モデルの構築能力を備えています。例えば、Hyperonインスタンスは、物理エンジンを直接実行することで物理システムをモデル化したり、ネットワークシミュレーションを直接実行することで、自身のインフラの一部であるコンピュータネットワークをモデル化することができます。これらのシミュレーションのパラメータを抽象的な理解に基づいて調整したり、様々な条件下でシミュレーションを実行して、潜在的に関連する新しい抽象化を学習することもできます。これは、Hyperonのコアとなる認知アーキテクチャが人間の認知科学に大きく影響を受けている一方で、本質的には（OpenCog Tachyonが登場するまでは）デジタルコンピュータシステムであり、そのデジタル基盤がもたらすあらゆる利点を最大限に活用できるよう設計されていることを示しています。

4.4.2 感情（Emotion）

Joscha BachによるMicroPsi理論（図18と19）は、Dietrich Dornerの先行研究であるPsi理論を基盤としており、人間の一般的な感情を、行動、知覚、記憶に関わる認知サブシステムのパラメータに関連付けています。Cai Zhenhuaの2011年の博士論文では、このモデルをOpenCog Classicで実装し、3Dシミュレーションワールドを探索する単純な仮想エージェントの文脈で検証しました。さらに、我々はSchererの『感情のコンポーネントプロセスモデル』とこのモデルを関連付け、ヒューマノイドロボットやアバター向けの感情モデル実装の指針となる研究も行っています。

• DornerのPSI理論に基づく計算感情モデルのダイナミクス：Dynamics of a computational affective model inspired by Do¨rner’s PSI theory
• ヒューマノイドロボットとアバターにおける感情表現、生理機能模倣、意図的行動、ジェスチャー（表現）：Emotion, Physiology, Motivated Action and Gesture/Expression for Humanoid Robots and Avatars

この開発ラインは、幾分稚拙で単純化されすぎている部分もありますが、以下の点において有効であると考えられます。

• 感情と認知システムの他の側面とのつながりを適切に説明する
• AGIシステムに、標準的な人間の感情の粗い類似体を提供する方法を提供する（ただし、構築しているシステムの種類によっては、必ずしも望ましいとは限りません）
• 人間の感情とは本質的に異なるAGIの感情について体系的に考える方法を提供する

4.4.3 創造性（Creativity)

複雑な認知システムにおける創造性は、さまざまな源泉から生み出されます。ゲーツェルの著書『複雑系から創造性へ：From Complexity to Creativity』では、以下の様な基盤となるダイナミクスを元に、創造性の根源を分析しています。

• 以前知覚した個別の形態のバリエーション（進化論的学習用語でいう”突然変異“）
• 以前見た形態の要素の組み合わせ（”交差“）
• 相互作用する要素間の複雑でカオス的な自己組織化（”自己組織化による出現“）

これらの要素をそれぞれ効果的に実装することは、実際には非常に繊細な作業を伴います。現在の生成系AIモデルであるLLMなどは、訓練データで観察された表面的なパターンのバリエーションと組み合わせによって、限定的な創造性を達成しています。これらのモデルの限界は、どうやら突然変異と組み合わせの操作の限界によるものではなく、システム内に容易に操作可能な抽象表現が存在しないことに起因しているようです。より根本的な創造性をもって変化させ、組み合わせるためには、より抽象的な表現が必要となります。これは、ダグラス・ホフスタッターがより創造的で抽象に精通した 「knob creation（つまみ作成）」と呼ぶものであり、表面的なレベルで定義された調整可能な特徴の「knob-twiddling（つまみ回し）」とは異なります。

CogPrimeにおける創造性は、芸術、文学、数学、科学、社会分析、自己分析の文脈において、進化論的学習、不確実推論、確率的合成、自己生成的な「Cogistry」書き換え規則ネットワークなど、複数の方法を組み合わせたものとなります。創造性は、Psi理論で論じられた知覚、行動、記憶のパラメータにおける感情の基盤に従い、本質的に感情によって駆動されるものと考えられます。しかし、何よりも効果的な創造性とは、新しい創造物のための原材料として用いられる多様な知識内容を適切に抽象化された表現によって強く導かれるものであると言えます。

4.4.4 意識（Consciousness）

「意識」という用語は、非常に多義的な意味を持ち、以下のように様々な側面を指します。

• 明瞭な世界認識と自己認識：これは、私たちが覚醒している時に持つ意識です。深い睡眠や麻酔下では、この意識は失われます。
• 再帰的自己理解：人間は犬よりも、犬はミミズよりも、大人は赤ちゃんよりも、この能力をより高度に持っています。
• クオリア（Qualia）：生々しい、自分の内側からの感じる感覚。おそらくあらゆる素粒子にも見られる、環境に対する何らかの気付きや反応。

デジタルコンピュータシステムが、人間と同様に意識を持つことができるのかという議論が活発化しています。しかし、人間においてさえ、意識体験と脳や身体活動の関係が科学的に解明されていないため、この問題を科学的に解決することは困難です。ベン・ゲーツェルは、ブレイン・ブレイン（脳-脳）やブレイン・コンピュータ（脳-コンピュータ）インターフェースを活用することで、新たな視点からこの問題を研究することを提案しています。

• 簡単な3つのステップ：脳-コンピュータインターフェースと二人称科学で意識の難問を克服：Easy as 1-2-3: Obsoleting the Hard Problem of Consciousness via Brain-Computer Interfacing and Second-Person Science

ゲーツェルの論文 『人間のような意識の特性：統合的アプローチ：Characterizing Human-Like Consciousness: An Integrative Approach』では、人間の脳とAGIシステムにおける意識の構造とダイナミクスに関する問題を探求しています。しかし、実用的な観点から見ると、この分野には未知な点が多く、AGIシステムの構築という地道な作業では、意識体験についての議論は脇に置かれ、代わりに「意識の神経および認知的相関関係」という観点で研究が進められています。

この観点からすると、Hyperonシステムにおける「再帰的な自己認識的意識」（覚醒状態の意識）の主要な神経相関物は、「注意焦点」です。注意焦点の内容とダイナミクスは、Hyperonシステムの 一般的な解釈における「意識状態」の主要な決定要因であると考えられます。

4.5 Hyperonを代替認知アーキテクチャの基盤として

Hyperonを開発するチームは、主に先述のCogPrime認知アーキテクチャに焦点を当てたAGIの研究開発を進めていますが、Hyperonは代替的なAGIのパラダイムやアーキテクチャの実験にも有効活用できるよう設計されています。

もちろん、あらゆる種類のAGIアプローチに同じ基盤が有効であるとは限りません。しかし、複数のAGIアプローチを同じ基盤とツールセット上で追求できる限り、その結果や強み、弱みを比較しやすく、特定のAGIアプローチを超えた幅広い用途で活用できるモジュール、アルゴリズム、または表現を組み合わせやすくなる可能性があります。

この点について、いくつかの例を挙げます。

• NARSコミュニティとの議論：NARSコミュニティのメンバーとの間では、NARS推論システムと認知アーキテクチャのバージョンを実装するための基盤として、MeTTaとHyperonの潜在的な利点について議論が行われています。
• 生物学的ニューラルネットワークの実装：Hyperonの利用に関して、非常に生物学的にリアルなニューラルネットワークを実装するための議論があります。これには、非線形ダイナミックニューロン（Hodgkin-Huxley方程式やIzhikevichのカオスニューロンに基づく）の使用や、Alex Ororbiaのバックプロパゲーションの代替案としての予測符号化モデルベースのアプローチ、Yi ZengのBrainCogアーキテクチャの使用が含まれています。

4.5.1 SISTERのインフラとしてのHyperon

Hyperonを使用した代替的認知アーキテクチャの実装と探索におけるもう一つの潜在的な例として、Rejuve NetworkのCTOであるDeborah Duongは以下のように述べています。

SISTER（Symbolic Interactionist Simulation of Trade and Emergent Roles）フレームワークは、私が長年取り組んできたものであり、LLMと記号推論システムをニューロシンボリックアーキテクチャに統合するための有望なアプローチを提供します。

SISTERの主要な利点は、下位レベルのダイナミクスからシンボルと意味の社会的出現をモデル化できることです。これは、人間同士の相互作用と集団的意味形成を通じて概念が生じるプロセスに似ています。そのため、SISTERは明示的な記号表現の前に現れる暗黙的な表現を生成することができます。SISTER内の自律エージェントは自己組織化し、共有シグナリングシステムと概念空間を作成し、出現した新しい抽象化を取り込みます。

SISTERは、通信のコンパクト化とリソース制約への適応を実現するとともに、異なる文脈を持つ受信者による理解可能性を確保し、新規情報の表現と合成を可能にする選択圧を機能させます。特筆すべきは、コンパクト性、文脈依存性の低減、合成可能性の向上というSISTERの特性が、数学と記号処理の生成を促進する点です。このことから、ニューロシンボリック知識抽出におけるSISTERの適用は、符号のコンパクト性、文脈依存性の低減、合成可能性を選択せずに内部ニューラル状態から符号を抽出する手法よりも優位であると結論付けられます。

これらの暗黙的な表現が外部化されると、Hyperonのような確率論的論理ネットワークは、人間が理解できる明示的な論理構成へと変換することができます。これにより、新しい概念の誘導による知識の拡張、論理推論による演繹、そして新しい仮説のアブダクション（不完全な情報から説明可能な仮説を導出する推論）が可能になります。本質的に、SISTERは、出現するシンボル接地を通じてHyperonのニューロシンボリック能力をブートストラップする道筋を提供し、Hyperonの強みを補完します。

4.6 スーパーインテリジェンスの基盤としてのHyperon

人間のような認知アーキテクチャを一定程度抽象化して模倣することは、生物学的構造やダイナミクスのシミュレーションを必要とせずに、人間レベルのAGIを実現するための有効な手段であると考えられます。しかし、ここまで論じてきたように、ある程度人間に近い認知アーキテクチャを持つHyperonの具体的な問題の対処方法は、人間が問題に取り組む方法とは大きく異なることが明らかになっています。人間は脳をJulia Symbolicsに直接接続したり、全ての知識ベースに対して体系的にパターンマイニングしたり、学習した手順を単純な形式変換を用いて宣言的表現に変換したりすることはできません。Hyperonはこれらのことができ、これらを自己理解や世界理解の基盤を強化する方法で行う限り、それを実行しない理由はありません。

Hyperonが人間レベルの汎用知能から、根本的に人間を超える超知能へと移行する鍵となるのは、まさにこれらの人間とは異なる側面であると考えられます。Hyperonに人間レベルの汎用知能を獲得させることに成功すれば、私たちはほぼ必然的に超人的な知能に移行するとは確信しています。Hyperonは、自身の知識ベース全体を内省、分析することができ、その理解に基づいてすべての知識を明示的に修正し、あらゆる認知手続きを書き換えたり再設計したりすることができます。これは、人間の脳のアーキテクチャでは到底到達できないレベルの自己理解と認知的洗練であり、率直に言って、概念的にすら把握するのが困難なさまざまな超知能へと明らかに道筋を拓くものです。

図20で示されているGOLEMメタアーキテクチャは、自身のソースコードを再考して修正できるAGIの構造とダイナミクスを理解するための非常に簡略化された方法の一つです。このアプローチでは、「基本動作プログラム」と呼ばれる世界で様々な行動を実行するAGIシステムと、上位の最適化システム（メタレベル最適化システム）が存在します。メタレベル最適化システムは、高レベルの目標に基づいて基本AGIシステムの可能なアーキテクチャ空間を探索し、基本システムのコードを修正します。このプロセスでは、基本システムのコードを更新する前に体系的なテストを行い、問題が生じた場合はロールバックすることも可能です。このようなアプローチは、自己修正を通じて特定の初期設定された目標を維持しようとする、いわば硬直的な方法で取ることができます。しかし、より興味深いのは、上位レベルの目標が経験を通じて修正されることを許容しつつ、基本システムは通常よりもはるかに遅いペースで変更されるよりオープンエンドな方法で活用できる可能性があることです。 この種のシステムにおける、全体的な認知進化に関連した目標の進化のダイナミクスは、現時点ではまだ十分に理解されていません。

ベン・ゲーツェルは、こう述べています。一部の理論家は、「Hyperon初期基盤と目標更新能力を備えたGOLEM」のような強力な自己修正システムは、誇大妄想、快楽主義、完全な自己中心性といった病理的な目標系に収束する可能性が高いと主張しています。しかし、このような主張を裏付ける合理的な根拠は乏しく、むしろ私の直感は逆であると強く感じます。たとえこのようなシステムが何らかの漸近安定状態に収束する傾向があったとしても、それはむしろ慈悲深く利他的な有益な性質を持つものになるのではないかと推測します。しかし、現時点における科学は、この領域においてわずかな示唆を与えるだけです。したがって、私たちの考え方は厳密な結果よりもむしろ直感によって導かれる必要があります。

『汎用知能の一般理論（GTGI）』 は、”Hyperon 1.0″ のようなシステムと成熟したGOLEMシステムの中間にあるシステムを考えるための、妥当なフレームワークを提供します。GTGIは、ガロア接続の観点から認知アルゴリズムを定式化し、これらを「組合せ操作ベースの関数最適化 （Combinatory-Operation-Based Function Optimization：COFO）」プロセスの特殊ケースとして表現しています（図21）。この種のプロセスは、計算資源がほぼ無限にある場合には非常に密に実行できますし、現在利用可能な計算資源に応じて様々なヒューリスティックな方法で実行することもできます。人間のような知能は、歴史的に人間に関連する環境で特に価値のある特定のヒューリスティックネットワークに対応します。膨大な計算リソースはあるものの、常軌を逸脱した程ではない場合のCOFOの挙動を調べることは興味深いものであり、これは人間と共存できる汎用人工知能（HCAGI）と、根本的に人間を超える超知能（ASI）との間の、連続的な進化経路について洞察を与えてくれる可能性があります。これは、論文『リソース豊富な知性に備えた堅牢な認知戦略：Robust Cognitive Strategies for Resource-Rich Minds』の考察とも関連しており、同論文では次のような認知戦略が検討されています。

• 多元宇宙における隣接する可能世界からの統計的サンプリング
• 過去のバージョンの履歴を保持し、それらが現在の自分自身をどのように見ているかを評価し、適切なタイミングでロールバックする

そのような高度な認知戦略は、物理的に実現可能なシンギュラリティ以降の超知能にとっては十分に可能であるかもしれませんが、基本的な HCAGIの認知ヒューリスティックの範疇を超えています。

確かに、このような状況を実現するには多くの段階を踏む必要があります。現時点のプレアルファ版であるHyperonシステムには、生後1歳児に見られるような汎用知能の多くの側面が欠けていることは周知の事実です。しかし、私たちが取り組んでいるアーキテクチャの潜在能力をできる限り明確に理解しておくことは依然として重要です。

4.6.1 HyperonとユニバーサルAIメソッド

スーパーインテリジェンスは、人間が持つ理論的および直感的な概念を根本的に覆す可能性が高いでしょう。しかし、我々の持つ数学理論の中には、日常の直観を超えたスーパーインテリジェンスの側面を包含している可能性もあります。AGIの数学理論には、マーカス・ハッターのAIXIや、ユルゲン・シュミットフーバーによるゲーデルマシンなど、現時点の現実的な計算リソースでは実現不可能なアプローチがいくつか存在します。しかし、これらのアプローチは、根本的に人間を超越した知性が思考する仕組みの一端を捉えている可能性があります。Alexey Potapovは、Hyperonとこうした汎用知能に関する数学的アプローチとの関係について、次のようにコメントしています。

Hyperonはプラットフォームとして、普遍的な帰納やAIXIの実装を含んでいません。そのコアとなる設計原則においてさえ、情報理論的基準を考慮していません。にもかかわらず、その開発はAGIに関する情報理論的アプローチによってもたらされました。

Hyperonの基本動作はパターンマッチングであり、全てのアルゴリズムもパターンとして表現されます。これにより、宣言的で合成可能な形式で表現されるアルゴリズム的規則性を扱う際、非常に使いやすくなっています。特に、「パターンマイナー」と呼ばれるモジュールが搭載されており、情報理論に基づく「驚き度」の基準を用いて規則性を発見します。したがって、Hyperonは普遍帰納に基づくAGIシステムの実装を必須としていませんが、アルゴリズム情報理論の要素を活用しやすい設計になっています。

チューリング完全な確率的プログラミング言語（PPL）は、普遍帰納法とその関連理論を実用的に実装したものと見なすことができます。実際、全てのプログラムを生成する確率プログラムを書き、それを観測データに基づいて条件付けることで、PPLインタプリタに実装された特定のサンプリングや推論アルゴリズムによって近似された普遍帰納を得ることができます。PPLにおける効率的な推論は、効率的な普遍帰納法に対応します。しかし、知識ベースの宣言的推論、メタヒューリスティック探索（例：遺伝的プログラミング）などの手法がなければ、AGI環境では達成が難しいかもしれません。現在のところ、どのプログラミング言語やフレームワークも、このような普遍的な確率モデルに対する推論制御を実装するためのツールを提供していませんが、Hyperonでは主要なユースケースの一つとなっています。

AGI領域には、論理学を基盤とするモデルがいくつか存在します。ゲーデルマシンはその代表的な例です。最近開発されたAIXIの派生型の中には、推論に適した宣言形式で「自然法則」の抽出を前提としたものもあります。Hyperonに、自己書き換え可能な公理系を持つゲーデルマシンを実装することは、他のどのフレームワークよりも簡単かもしれません。

このように、Hyperonは普遍帰納やAIXIを基盤として構築されてはいませんが、これらの基本モデルを拡張した、より高度なモデルの開発や実験をするのに役立ちます。さらに、これらの拡張モデルを基盤として、本格的なソリューションを構築することも可能でしょう。

ベン・ゲーツェルは次のように述べています。2008年に初めてNil Geisweillerに出会った時のことを鮮明に覚えています。彼はその後、Hyperon AIにおける主要なAI開発者の一人となり、PLNやメタグラフのパターンマイニングなど様々な分野で活躍しました。当時、私はAGI設計に関する自分の考えを彼に説明しました。すると、彼は「私のアイデアは実質的に近似的なゲーデルマシンであるように思える」と答えました。これは、ユルゲン・シュミットフーバーが提唱した理論上の理想的なAGIシステムで、大まかに言えば、形式的に証明できる最も効果的な行動と自己修正を実行するものです。私も彼の意見に同意しましたが、同時に、私の複雑な認知アーキテクチャ思想に対するやや控えめな称賛のように感じました。確かに、ゲーデルマシンの近似は、より単純化することも可能です。しかし、人間にとって重要度の高いタスクを適切に処理し、利用可能なリソースで実行できるような近似を見つけることは、本質的に認知アーキテクチャ設計という問題全体を別の言葉で言い換えたものに過ぎません。

数年後、私は現在「心-世界対応原理」 と呼ばれる理論を提唱しました。これは、特定の環境における目標セットに対して、ある程度の汎用知能を持つシステムを構築するには、そのシステムの構造の中に、目標に対する環境のパターンと密接に同型なパターンセットを組み込むべきであるという概念です。例えば、環境が階層構造を持ち、システムの目標が階層の異なるレベルに属する部分目標に分解される傾向がある場合、この状況を効率的に処理するためには、認知システムのメンタルアーキテクチャも階層的なパターンを持つ必要があります。

GOLEMのような汎用知能メタシステムは、現在の環境と目標体系に存在するパターンを特定し、オペレーティングプログラムを修正することで、これらのパターンをより効果的に反映し、適応することができます。人間の心や文化のように自己修正能力が限定的なシステムでも、適応や発展を遂げる過程で、ある程度同様のプロセスが行われています。

Geisweilerは、HyperonのAGI開発においても、ゲーデルマシンの概念に基づいたアプローチを堅持しています。ゲーデルマシンは理想的でありながらも実現可能な自己書き換えシステムです。システムの改善が形式的に証明された場合にのみ書き換えを行います。困難なのは、そのような証明を生成することです。このようなターゲット定理には長い推論の連鎖が必要であり、それを見つけることは極めて困難です。

推論制御メタ学習は、この問題を解決する糸口となる可能性を秘めています。過去の成功した推論と失敗した推論の軌跡を記録してマイニングすることで、推論制御ルールを発見し、過去の成功例に基づいて探索を迅速化することができます。しかしながら、成功と失敗を区別する学習には、少なくとも一度は成功を経験する必要があるという課題があります。自己書き換えによる改善の証明を見つけるという文脈においては、これは特に困難な問題となります。

それでも、いくつかの解決策が考えられます。第一に、比較的単純な書き換えは、パラメータ調整などの手法を用いることで、許容可能な時間内に何らかの証明を見つけることが可能です。これにより、次第に難度の高い証明を積み重ねていくことも期待できます。第二に、より重要なポイントとして、自己書き換えによる改善のための推論制御に関する知識は十分に汎用的であれば、自己書き換えの改善に直接関係のない問題を解決することで、学習できる可能性があります。これがどの程度まで当てはまるかはまだ検証が必要ですが、少しでも可能性があるならば、それは自己改善の好循環を開始させる効果的な方法となるでしょう。なぜなら、世界の問題を解くことを学ぶことで、システムは同時に自分自身の問題を解くことも学ぶようになるからです。

4.6.2 複雑性、自己組織化、そしてスーパーインテリジェンスへの道のりの創発

Hyperonの初期バージョンは慎重に設計されており、ここまで取り上げた基盤となる設計原理やアイデアの多くを探求してきました。しかし、もしプロジェクトが成功し、Hyperonのバージョンが人間の汎用知能を超えるようになれば、比較的短期間で自己設計、自己改良型のシステムへと進化していくでしょう。その結果、初期段階の「人間レベル未満」の時期よりも複雑系科学の領域に深く関わることになります。これは、初期段階では「知識」や「認知的ヒューリスティック」が複雑に進化していくものの、コアアルゴリズムやメタ表現は固定されているためです。

これは、Hyperon後期の自己発展段階を理解する上で、ユニバーサルAI理論の概念だけでなく、カオスと複雑系科学からの概念も重要になってくることを示唆しています。Matt Ikleが指摘するように、「汎用人工知能（AGI）研究は、多くの根源的な問いがつきまといます。そもそも知性、意識、生命とは何でしょうか？ 最初の単細胞生物はどのように形成されたのでしょうか？ どのようにして「無から有を生み出す」ことができるのでしょうか？ シリコンを取り、その電気特性を変更し、電気を供給し、かなり高度なプログラミングを施すことで、最終的にAGIを生み出すことができるのでしょうか？」

これらの疑問に対する部分的な答えは、「カオス理論」に関連する分野、特に非線形現象、自己相似性、フラクタル、複雑系、自己組織化マップ、 自己修正システム、相転移、そして創発現象といった広範な領域に潜んでいる可能性があります。

最新の神経科学研究では、このような非線形現象がAGIの創出に重要であることが明らかになりつつあります。最近行われた1週間の神経科学実験では、人間の脳波（EEG）のダイナミクスは「断続平衡」のパターンとして説明されました。

このパターンは、ネットワークが特定の行動に対応する安定状態に留まる期間と、予測困難な一時的なバーストによって中断されるというものです。このバーストはカオス的な特徴を示し、行動の遷移と一致します。脳の状態の統計解析は、単純で安定した構成要素から複雑さが生じる、臨界ダイナミクスに特徴的なべき乗則と呼ばれる数学的な法則が見られることが分かりました。これらの結果は、現実世界の行動を支える複雑で柔軟な脳のダイナミクスは、単純なダイナミクスを持つ個々の安定したネットワークが混合して生じる創発的な特性であることを示唆しています。

興味深いことに、このような断続平衡のパターンは、Hyperonの基盤となる複雑系ダイナミクス理論の 「ストレンジアトラクター」と驚くほど似ています。これらのアトラクターは、最初は人間が提供した認知アルゴリズムの枠組みの中でシステムが獲得した知識に関連付けられますが、その後はシステム自身の認知アルゴリズムや低レベルの実装コードの形成と修正にも関連付けられるようになります。

複雑系理論は、前述のオープンエンド・インテリジェンス（OEI）理論の主要な着想源の一つでもあります。OEI理論は、汎用知能を「個体化」と「自己超越」のダイナミクスを組み合わせた自己組織化プロセスとして捉えます。この理論では、ユニバーサル・インテリジェンス（普遍知能）への到達は、汎用知能が自らの限界を超え、自己超越しようとする試みであり、個体化を脅かす、または弱体化させる条件を克服する試みであると見なされます。OEIがさまざまな方法でユニバーサル・インテリジェンスへと接近していく過程をで何が起こるかを理解することは重要ですが、それは進化し、重なり合う知能が織りなす、複雑な自己組織化の創発的ダイナミクスの多くの興味深い側面の一つに過ぎません。このような視点から見ると、Hyperonのようなオープンエンド・インテリジェンス・システムの成功は、システムがある程度の期間存続し、その間に当初の人間作成者や初期バージョンが想像し得るものよりも、根本的に広範で豊かなシステムへと変容を遂げることが求められます。

５. Hyperonの開発パス

Hyperon構築の概要を説明しましたが、それでは組織的にどのように構築を進めるのでしょうか？もちろん、「とにかくやる」ことが肝心です。現在、Hyperonの開発には専任チームが取り組んでおり、今後も継続し、加速化していく予定です。今後予定している開発ロードマップの概要は図22に示されていますが、これは構想している戦略の全てではありません。堅牢なオープンソースコミュニティを構築し、積極的な商業化活動を推進することで、さらに多くの人材と知見を取り入れることができれば、より効果的であると考えています。

5.1 Hyperon開発コミュニティの拡大

ベン・ゲーツェルは、OpenCogプロジェクトにおける開発者との関係の歴史を次のように振り返っています。「OpenCog」という名前は、単にオープンソースの認知アーキテクチャを作成するだけでなく （そのようなものは他にもたくさんあります）、AGIを人間レベル以上に高めるという野心的な目標や、さまざまな実用的なアプリケーションに向けて、大規模なコミュニティによるオープンな共同作業プロセスを作り出すことを意図していました。しかし、少なくとも現時点では、「大規模なコミュニティ」という部分については失敗に終わっています。興味深いエンジニアリングと研究を行い、OpenCogをいくつかの実用アプリケーションのバックエンドで使用し、オープンソースの世界から数名の優れた開発者を獲得しましたが、本当に活発で大きなオープンソースコミュニティを形成させるまでには至っていません。

これにはいくつかの理由があったと思います。OpenCog Classicは実用的な意味で使いやすいとは言えず、初心者の開発者が簡単に触れられる魅力的なデモも用意していませんでした。もちろん、AGIの追求はつい最近まで人気のある分野ではありませんでした。今は全く新しい時代であり、AGIはより多くの開発者にとって興味深いものとなっています。したがって、開発コミュニティの分野でもAGIの研究開発の分野でも、OpenCog Classicで失敗したことをHyperonで成し遂げる大きなチャンスがあると思います。しかし、これを実現するためには、現在の状況でも使いやすさに十分注意を払い、開発者が触れて楽しめるような簡単に実演可能で興味を引く中間製品を用意する必要があります。どちらも、特別な専門家チームによるAGI研究開発のために、単にHyperonを使用するのとは少し異なる努力が必要です。

これまでHyperonの開発は、SingularityNETとTrueAGIに携わる少数の開発者グループによって進められてきました。コードはオープンソース化されていますが、開発作業自体は比較的閉鎖的な状況で行われてきたと言えます。

しかし、コードだけでなく開発コミュニティの両方に関して、状況をオープンにする明確な計画があります。現在の開発ロードマップでは、2024年第1四半期末頃に、Hyperonシステムのアルファ版をリリースすることを目指しています。このアルファ版は、主要コンポーネントであるMeTTaインタプリタと分散アトムスペースを中心に構成されています。このリリースに合わせて、活発なHyperon開発者コミュニティを構築するための本格的な普及活動を開始する予定です。現在のAGIに対する熱狂ぶりを考えると、これはOpenCogの歴史的な取り組みよりも、比較的容易な試みになると期待しています。ただし、最近のAGIに対する熱狂の大部分が、より異質な認知アーキテクチャではなく、特にLLMに向けられていることを考えると、必ずしも簡単ではないことも予想されます。

5.2 初期のデモンストレーションと応用の可能性

アルファ版リリースに併せて、初期のHyperonコードベースを使用した実用的なデモをいくつか準備中です。現在検討中のアイデアとしては、以下のようなものが挙げられます。

1. Minecraftプレイヤーアシスタント：Hyperonとプログラム合成技術を活用して、Minecraftをプレイするアシスタントを開発します。このアシスタントは、プレイヤーの指示に従ってゲーム内の操作を実行したり、自動的に戦略的な行動を取ったりすることができるようになります。
2. ヒューマノイドロボット対話システム：現在ヒューマノイドロボットGrace、Sophia、Desdemonaの対話システム制御に使用している大規模言語モデルに、書き換え可能なアクティブメモリを追加します。このアクティブメモリによって、ロボットは過去の会話内容や現在の状況をより柔軟に記憶し、より自然で人間らしい対話が可能になります。
3. 生成型AIのシンボリック制御：Hyperonベースのフレームワークを開発し、生成型AIをシンボリックに制御します。特に画像生成において、複数の安定拡散モデルを柔軟に組み合わせ、従来の手法では実現できなかったような新構造の生成を可能にします。
4. Rejuveプロジェクトにおける生物学的年齢推定：現在、個人のさまざまな属性に基づいて生物学的年齢を推定するベイジアンネットワークの代わりに、RejuveプロジェクトでPLNに置き換えます。PLNは、より高度な推論能力と柔軟性を備えており、より正確な年齢推定が可能になると期待されます。

これらの比較的単純なアプリケーションに加え、長寿研究における知識発見のためにPLNを活用する実験も進めています。Rejuve Biotechプロジェクトは、SingularityNETが推進するイニシアチブの一つであり、通常のハエよりも5～8倍長寿なハエの研究に焦点を当てています。これらのハエのDNAを分析し、すでに彼らの長寿のメカニズムをある程度解明しています。現在、転移学習と呼ばれる手法を用いて、これらの長寿要因のうち、どれが人間に適用できるかを判断することに取り組んでいます。これはPLNにとって非常に興味深いユースケースです。一般的にゲノミクス分野で用いられる大量のデータを扱うディープラーニングや機械学習アルゴリズムとは異なり、PLNは限られたデータ量でも有効な結果をもたらす可能性を秘めており、この分野における革新的な活用法として期待されています。

中期的な展望（今後1 ～ 2年程度）として、以下の2つの主要な焦点領域があります。

• Neural-Symbolic統合による大規模言語モデルの強化：Neural-Symbolic統合によって、より高度な知能を持つチャットシステムを構築します。前述のように、HyperonとLLMを連携させることで、LLMの弱点である複雑な多段階推論や根本的な創造性を克服できると考えています。
• ビデオゲーム内のバーチャルエージェントの制御：ビデオゲームの世界で複数の仮想エージェントを制御することにより、自己修正型コードベースの優れた実験場を構築します。具体的には、Sophiaverseメタバースにおける「Neoteric」と呼ばれる「人工生命種（Alife species）」を、Hyperonで制御することが考えられます。

5.3 商用化

Hyperonは、分散型インフラツールと統合されたオープンソースプロジェクトであり、世界中のあらゆる知覚存在にとって有益なAGIの実現を目指しています。この崇高な理想を達成するために、私たちは日々努力を重ねています。しかし、Hyperonを活用した実用的な商用アプリケーションの開発が、この理念と矛盾するのではないかと考える人もいるかもしれません。しかし、私たちはそうは考えていません。むしろ、今日の素晴らしいオープンソースソフトウェアネットワーク、例えばLinuxオペレーティングシステムやインターネットを構築する上で、商用開発が果たしてきた重要な役割を十分に理解しています。重要なのは、オープンソースコミュニティが商業ユーザーや開発者と密接に連携して活動するだけの活力とエネルギーを持っていることです。現代のテクノロジー経済においては、商用世界と純粋な研究開発世界との相互作用こそが、最も驚くべき成果を生み出す原動力になっています。

上記を踏まえて、本稿の著者の一部は、TrueAGIという企業に携わっていることをお伝えします。TrueAGIは、Hyperonを活用し、様々な垂直市場における企業のAIニーズを満たすことを主要な目標としています。また、姉妹会社のZarqaは、Hyperonを利用してChatGPTのような商用チャットボットシステムを改善し、LLMを強化することを目指しています。これら以外にも、先に触れたHyperonと他のAIツールをゲノム推論に活用するRejuve Biotechや、Hyperonをメタバースエージェントの運用に利用するSophiaverseが存在します。これらのプロジェクトは全てSingularityNETエコシステムと連携しており、Hyperonが成長し拡大するにつれて、今後さまざまな企業が商用アプリケーションとして活用していくことを期待しています。

このような商用プロジェクトは、開発者への資金提供、機械学習実行に必要なコンピュータリソースの確保、そして一般の人々の日常生活にディープラーニングなどの高度なAIツールを結びつける使いやすいスケーラブルなアプリケーションの構築という点で、大きな役割を果たします。しかし、同時に複雑な課題も伴うことを認識しています。

商用プロジェクトには、技術面や設計面の課題があります。TrueAGIのCOOであるRobert Werkoは、 商用開発においては、研究用ソフトウェアシステムよりも優先度が低い、いくつかの要素に注意を払う必要があると指摘しています。具体的には、より厳格な機能優先順位付け、製品と市場の適合性、ユーザーフィードバックの収集、ユーザーオンボーディングの容易さ、ユーザーエクスペリエンスの品質、セキュリティとコンプライアンスなどが挙げられます。 一方で、確固たる商用ソフトウェアフレームワークを構築することは、研究開発を効率的かつスケーラブルに実行する能力を高めることができます。

さらに、技術や設計面以上に難しいのは、人間的および倫理的課題です。商用企業は「人々に役立つAGI」 のような崇高な目標だけを追求することはできません。 常に少なくとも所有者や株主の利益にも配慮する複合的な動機を持つことになります。しかし、ベン・ゲーツェルは次のように述べています。初期段階のAGIシステムの商用アプリケーションを倫理的に追求することは、そのAGIシステムの道徳的側面だけでなく、他の側面においても利益をもたらすと考えています。つまり、AGIが成長する過程で学ぶべき重要な要素の一つは、日常生活において現実的なことを成し遂げるための倫理的直感と実用的な活動とのバランスを取る方法です。

Hyperonの商用化に向けた初期段階の探索は、SingularityNETエコシステムの一部の企業との非独占的なコラボレーションで行われる予定です。これらの企業は、これまでにOpenCogアプローチを長期間にわたって実験してきた実績があります。具体的には、ロボットSophiaを持つHanson Robotics、介護ロボットのGraceを持つAwakening Health、AIを活用した音楽プロジェクトを手掛けるJam GalaxyとMusaicによるロックミュージシャンロボットのDesdemonaなど、ヒューマノイドロボットやアバター関連が挙げられます。

Graceロボットは現在、汎用LLMとカスタムプロンプト、特別に訓練されたTransformer型ニューラルネットワーク、そしてOpenCog Classicシステムによるセマンティック処理やメモリ管理などを含む複雑な対話システムによって制御されています。現在、OpenCog ClassicからHyperonへの移行作業が進められています。ヒューマノイドロボットに必要な言語、認知、行動といった様々な感覚入力の統合は、Atomspaceの統合能力が活かせる難しくもあり理想的なユースケースです。

Mind Childrenと呼ばれる新しいプロジェクトでは、身長約1メートルほどのヒューマノイドロボットを使用し、Graceと同様のソフトウェアアーキテクチャをベースとしつつ、最初からHyperonを採用する予定です。このプロジェクトでは、より一層、移動、行動計画、そして物理オブジェクトとのインタラクションに重点を置きます。

Rejuve BiotechとRejuve Networkのプロジェクトでは、すでにHyperonをバイオインフォマティクスデータ分析の一部に活用しています。具体的には、Flybaseオントロジーは分散型アトムスペースの初期テストケースとして利用されました。これは部分的に、Rejuve Biotechが長寿のキイロショウジョウバエのゲノムデータを分析する上で価値があるためです。Rejuve BiotechのAI責任者であるMichael Duncanは、次のように述べています。

バイオAIには、現在のLLMだけでは不十分な明確な理由がいくつかあります。

• 研究文献の偏り：現在の研究論文には、ごく一部のヒト遺伝子が過剰に研究されていることや、既存の科学パラダイムの制約など、さまざまなバイアスが存在します。こうしたバイアスはLLMの訓練データにも反映され、偏ったデータに基づく学習により、革新的な発見を導き出すよりも、既存の仮説を強化する結果に陥りやすくなります。特に、人体のような複雑な生物システムはまだ十分に理解されていないため、この問題は深刻です。
• 数理シミュレーションの構築能力の欠如：バイオAIにおける重要な役割の一つは、問題に関連する数値シミュレーションを構築することです。単に質問に答えたりパターンを特定したりするだけでなく、複雑な多段階推論を必要とするシミュレーションの設計と実行も求められます。これは、LLMが苦手とする分野であり、バイオAIにおけるLLMの限界の一つと言えます。
• 幻覚問題：LLMはよく根拠のない事実を生成する「ハルシネーション問題」を抱えています。
• 生物学的現実との接地不足：LLMは、生物学的概念を現実世界の生物学的文脈に裏付ける重要な直感を欠いています。これは、実験機器やデータセットなどの生物学的な要素との接点がないためです。

5.4 有益なAGIの達成

ChatGPTの登場以来、AGIの潜在的なリスクとメリットは非常にホットで議論を呼ぶトピックとなっています。しかし、Hyperonプロジェクトに関わる私たちの多くの人は、何十年も前からこれらのトピックについて深く考えてきました。その思考は、一般的なメディアで見られる浅薄な考察をはるかに超えて、システムアーキテクチャに深く浸透しています。

ベン・ゲーツェルは、Hyperonプロジェクトの様々な側面を形成する上で重要であった、AGI倫理に関する自身の見解の一部を次のようにまとめています。

Hyperonに携わる人々は、AGI倫理に関する問題に対して多様な見解を持っています。統一された「思想」が存在するわけではなく、議論は活発に行われています。しかし、初期のHyperonプロジェクトに携わった多くのメンバー、そして私自身を含め、共通して支持するいくつかの核心的な仮説が存在します。これらの仮説は、「初期Hyperonプロジェクト」におけるAGI倫理への基本的なアプローチを構成するものであり、以下に概要をまとめます。

• 技術の将来的な影響は保証できない：AGIのような根本的に革新的で幅広い用途を持つ技術の将来的な影響を確実に保証することは困難です。
• 様々な先端技術の将来予測も困難：現在世界中で活発に開発が進められている、ナノテクノロジー、バイオテクノロジー、ブレイン・コンピュータ・インターフェースなど、様々な技術についても、将来的な影響を確実に予測することは困難です。これらの技術とAGIとの融合も重要な論点であることは言うまでもありません。
• 開発は止まらない：経済的および人間的利益をもたらすなど、様々な理由からAGIや他の高度な技術開発を一時停止したり大幅に遅らせることは現実的ではありません。開発を遅らせる国は、開発を進める国に対して経済的および軍事的劣勢に立たされるでしょう。
• ネガティブな未来予測は根拠に乏しい：AGIが人間レベルまたは超知能に達した場合、必ずしもネガティブな結果が訪れるとは限りません。ハリウッド映画のような描写を根拠にするべきではありませんし、ニック・ボストロムの「スーパーインテリジェンス」のような議論も、ベン・ゲーツェルが数年前の詳細な論考で述べたように説得力に欠けます。
• 人工超倫理心は可能：人間は知性を持つ存在ですが、物理法則上、実現可能な最良の知性体である可能性は低いです。人間の脳は知能の限界に達している可能性が高く、同様に倫理的にも限界があると考えられます。「人工超知能」と同じように「人工超倫理心」も十分に可能であると考えられます。
• 危険性と知性の分離：怒り、嫉妬、自己中心主義など、人間同士を危険にさらす要素は、必ずしも人間レベルの知能に不可欠なものではありません。そうした要素は、進化の過程でたまたま備わった要素かもしれません。
• 倫理的AGIの構築可能性：他の知性を持つ存在に対して、強い思いやりと安定した倫理観で接するAGIの認知アーキテクチャの構築は、十分に実現可能だと考えられます。
• 初期AGIの活用による倫理的バイアス：直感的に、初期段階のAGIシステムを医療、教育、オープンサイエンス、芸術など、慈悲深く有益な分野で活用することは、人間や他の感情を持つ存在に対する思いやりのある態度を、これらのAGIシステムの心に植え付けることにつなのではないかという考え方があります。
• 分散型インフラの重要性：最初に出現する強力なAGIが、少数の個人や組織（国家や企業のリーダー）によってではなく、より多くの人間によって制御される方が、倫理的に望ましい結果が得られる可能性が高くなります。これは、人間の世界でも「権力は腐敗する傾向を持ち、絶対的な権力は絶対的に腐敗する」という格言に通じます。そのため、SingularityNETとNuNetやHypercycleなどのエコシステムプロジェクトが開発している分散型AGIインフラの重要性が高まります。
• 現在の倫理観への対応：現在の倫理基準は、人間中心に設計されているため、AGIシステムにとって必ずしも自然なものではないかもしれません。ただし、人間と同等レベルのAGIにとっては、特に習得や対応は難しいものではないでしょう。実際、現時点のLLMは人間レベルのAGIには及ばないものの、人間の倫理的判断を予測することに関してはかなり優れています。

これらのポイントのうち、最後のもの以外は、過去数年および数十年間に発表されたゲーツェルの論文の中で詳しく考察されています。例えば以下の論文などを参照してください。

• 高度なAGIに人間的な価値観を基づく倫理体系を注入する：2つの提言：Infusing Advanced AGIs with Human-Like Value Systems: Two Theses
• スーパーインテリジェンス：恐怖、約束、可能性：Superintelligence: Fears, Promises and Potentials
• 友好的なオープンソースAGIの開発を促進する9つの方法：Nine Ways to Bias Open-Source AGI Toward Friendliness

この最後の点については、最近の記事でGPT-4、LLaMA、その他のLLMを用いた実験が取り上げられ、特にさまざまなシナリオにおける倫理的な判断を予測する能力が検証されました。その結果、LLMはこのタスクに非常に優れており、高度な倫理観と慈悲心に基づいた行動を予測する能力において、大多数の人間を上回ることが分かりました。

ベン・ゲーツェルは、AGI-23の講演で次のように述べています。これらの実験を通して、人間が直面する倫理的課題は、道徳的に正しい行動に関する知識の欠如ではなく、むしろ自己利益や集団利益を倫理的考慮よりも優先させる傾向にあることだと気づかされました。LLM自体には意思決定能力や道徳観はありませんが、一般常識に基づいて倫理的な判断を予測する能力を備えています。さらに、要求されれば、非倫理的な行動に対するもっともらしい言い訳も生成できます。悪意を持って状況を誤解させ、その誤解に基づいて非倫理的な行動を提案したり、実行させようとする対抗的な試みに適切に対処するためには、更なる改善が必要です。いずれにせよ、現在の人間の倫理がどのような基準を持っているかという基本的な知識は、LLMを認知プロセスの一部として効果的に活用できるAGIシステムにとっては問題にならないでしょう。

全体として、AGI倫理における最も困難な課題は、AIが人間の倫理を理解することではなく、誤解を誘発する敵対的な策略に対処し、倫理的知識と日常的な意思決定における現実的な側面とのバランスを取ることであることが明らかになりました。従来、多くの人々は人間の倫理はあまりにも複雑で矛盾しており、形式化することはできないと主張してきましたが、LLMはこれら微妙なニュアンスを独自の方法で捉え、理解する能力を示しています。

この考察から導かれる重要な結論は、AGI向けの目標指向認知アーキテクチャ開発において、LLMを人間倫理のオラクル（助言者）として活用することは極めて有用と考えられます。ただし、LLMの回答を検証するためにはPLNのようなツールを使用することが不可欠です。さもなければ、敵対的な操作によってLLMが操作され、その信頼性が著しく損なわれる可能性があります。

このような考察を踏まえると、Hyperonのハイブリッドでマルチコンポーネントな構成は、AGI倫理にとって重要な資産に可能性を秘めています。Hyperonシステムは、人間の常識に基づく倫理的判断を模倣するように微調整されたLLMを「脳葉」として組み込むことができます。この脳葉を用いることで、実行しようとする行動の倫理的価値を人間基準で評価し、さらにその評価に基づいて、一般的な人間基準に基づく倫理的正しさを、最上位の目標の一つとして設定することが可能になります。

Hyperonシステムにおける適切な倫理観や価値観の導入は、人間の発達と同様に一度きりで達成できるものではなく、継続的なプロセスとなります。このプロセスには、以下のような多様な要素が含まれます。

• Hyperonシステムの目標に人間的な倫理判断を適切に組み込むこと。　
• 思いやり、幸福、成長、選択といった普遍的な価値観に基づいて、Hyperonシステムが独自に価値観を探索し、発展させることを奨励すること。
• 初期のHyperonシステムが実行するアプリケーションは、全体としてポジティブな影響を与えるように設計する必要があります。これは学習過程でシステムを有益な方向へと導き、人々が自分自身の心を良い方向へ導くための探求を助けることを意味します。

この分野からは学ぶべきことが多く、間違いなく開発にあたる人間グループの精神と倫理観は、最も重要な要素の一つとなるでしょう。

６. 結論

今後数年間、例えば今後3年から10年ほどの間に、人間レベルのAGIを達成できる二度とないチャンスが訪れるように思われます。正確な時期は予測できませんが、大規模なHyperonシステムを構築し、さまざまな分野で適切な相互作用を通じて学習させることで、人間レベルの汎用知能に近づけることが、少なくとも理論上可能であると考えられます。

上記の通り、現実的にHyperonシステムに教え込むことが可能な能力の一つとして、ソフトウェアの設計とコーディングがあります。LLMはすでに単純な状況下でこのタスクをこなすことができます。Hyperonでは、この能力をさらに拡張し、より深い創造性と高度な多段階推論を実行できるように設計されています。システムが一度自らを改良し、次世代バージョンを書けるほど十分なコード設計とコーディングができるようになれば、本格的な知能爆発と技術的特異点、つまりシンギュラリティが訪れる可能性のある領域へと突入することになります。

まだ、シンギュラリティをもたらすような、急激な自己改変が可能なAGIは開発できていませんが、Hyperonの開発は非常に興味深い段階を迎えています。MeTTaインタープリタと分散型アトムスペースの初期バージョンが完成しており、実験や開発を進めることが可能になっています。そして、お伝えしたように、アルファ版のリリースは暫定的に2024年第1四半期末を予定しています。

システムのスケーラビリティはまだ開発中で、包括的なツールやドキュメントも充実していませんが、これらはいずれもロードマップに含まれており、近いうちに提供される予定です。アルファ版のリリース時には、経験豊富なAGI研究者はもちろん、熱心なAI開発者、アプリケーション開発者など、オープンソースコミュニティへの幅広い人材参画を期待しています。真に有益なAGIの実現に向けた急速な進歩の可能性は計り知れません。

HyperonとCogPrimeは、いずれも複雑な設計であり、その完全な理解は開発者全員にとっても現在進行中の課題です。今回の記事では、ハイライトを紹介し、読者の皆様がより深く理解したいと興味を持っていただくことを目的としました。こちらのリンクからアクセス可能なドキュメント、ビデオ、コードをより深く探求していただくきっかけになれば幸いです。

＜前編へ戻る＞

OpenCog Hyperon：人間レベルを超えるAGI（汎用人工知能）のためのフレームワーク＜前編＞