RAG だけでは不十分な理由

素朴なRAGは有用だが、それだけでは不十分

検索拡張生成、つまり RAG は重要な前進です。モデルの訓練データや単一のプロンプトだけから答えさせるのではなく、関連する外部素材を検索し、回答時にモデルへ渡します。

多くの領域では、それは正しい基盤です。

しかし、長編フィクションは素朴な検索の限界を露出させます。

ベクトル検索は似たパッセージを見つけられます。しかし、別名、代名詞、正式な称号が同じエンティティを指していることを理解できないかもしれません。キャラクターが登場するシーンを検索できても、その登場がアーク全体とどう関係しているかを理解できないかもしれません。矛盾がひとつの局所的なパッセージに存在しないため、見逃すかもしれません。グローバルな継続性の質問に対して、関連して見えるいくつかの断片を返しても、それが原稿全体を代表していないかもしれません。

小説の改稿は、しばしば次のような問いに依存します。

• 「この約束は最初にどこで確立されたのか？」
• 「この後のシーンは、以前のルールと矛盾していないか？」
• 「物語のこの時点で、この秘密を知っているキャラクターは誰か？」
• 「この代名詞参照は曖昧ではないか？」
• 「この二つの名前は同一人物なのか、別人なのか、それとも未解決の別名なのか？」
• 「どのカノン主張が直接的な根拠に支えられているのか？」
• 「この章を書き換える前に、どの主張をレビューすべきなのか？」

それらは単なる検索の問いではありません。物語構造の問いです。

TextifAI の答えは、生の検索の上にセマンティックレイヤーを構築することです。

vault や second brain が重要な理由

書き手は、生の文書だけでは不十分だとすでに知っています。だから多くの人が、ストーリーバイブル、Wiki、ノート、スプレッドシート、カードシステム、フォルダ、タイムライン、リンクされたノートの vault を作ります。

vault は作者に持続する知識を与えます。キャラクターシート、世界のルール、章メモ、場所ページ、派閥史、改稿計画を保持できます。リンクされたノートが強力なのは、記憶だけに頼らず、ひとつのアイデアから別のアイデアへ移動できるからです。

しかし、手作業の vault にはコストがあります。

古くなることがあります。実際の原稿からずれることがあります。古いカノン、予定していたカノン、破棄したカノン、現在のドラフトの根拠が混ざることがあります。有用であっても、ある主張がまだ真実かどうかを証明すべきソーステキストから切り離されていることがあります。

TextifAI は vault という考え方を否定しません。それを拡張します。

目標は、単なるノートの山ではありません。目標は、原稿の根拠、エンティティ解決、カノン構造、グラフ関係、人間によるレビューが共存するナラティブワークスペースです。