学習能力をもった機械が、人間と自然にインタラクトできるインターフェースをもっている(言語処理の飛躍的発達はこの両方に重要な意味がある)、というのが当面GPTの重要な側面で、「GPTは高性能な文章生成器だ」というのは、たぶんムーブメントの本質を見誤っているという気はする。
言語処理の発展は、人間が作った/作りつつあるさまざまなリソースを、学習の素材として利用することができる、ということがあきらかになりつつあるのだとおもう。そういう点からいって、GPTは単なる高性能なソフトウェアだというわけではない。なにかしらの入力に対して出力を返すことができる、そういう作りの機械であるわけではない(表面だけみるとそうだけど)。そうではなく、みずから文章を生成することができるということが、それじたい学習の側面を抱えているような装置なんじゃないかとおもう。
言語処理の発展は、人間が作った/作りつつあるさまざまなリソースを、学習の素材として利用することができる、ということがあきらかになりつつあるのだとおもう。そういう点からいって、GPTは単なる高性能なソフトウェアだというわけではない。なにかしらの入力に対して出力を返すことができる、そういう作りの機械であるわけではない(表面だけみるとそうだけど)。そうではなく、みずから文章を生成することができるということが、それじたい学習の側面を抱えているような装置なんじゃないかとおもう。
文章の生成がそもそも学習である、というのは投機的な実行によって学習しているということが言いたいんだけど、そもそも人間もそのように学習していないか。つまり、現在与えられた状況にたいしてなにかを試してそれが問題を解決するかどうか確かめる。うまくいけばうまくいったパターンとして学習するし、失敗すれば失敗として学習する。おそらくだけど、粘菌も投機的な実行によって組織を形成するだろうし、植物もそうだろうとおもう。
投機的実行という面から学習を捉えていくなら、脳神経系統があることは学習することができる知性にとって重要なことではない。ある投機的実行の成功や失敗のパターンをどうやって記憶するかを脳神経のようなものに頼る必要はなく、物質の配置を記憶/記録として利用することができるはずだ。
これは人間の社会集団にとっても重要な問題で、ある社会においてなにかが禁止されていたりするのは論理的に思考したりシミュレーションした結果などではなく、たんになんどか試してみてどうしても失敗するようなものであったりする。毒性をもったたべものとか。北枕とか。こういうのはどうみても論理をもって生み出されたようなものではなく、試行の結果がどこかに蓄積されているはずだ。そういう試行の結果というのは、たとえば部屋のモノの配置などにもあるとおもう。
文章を書く、などの行為も、思考の投影などとしてあるのではなく、こういった投機的実行として考えられる。記述される文が投稿される前に下書きとして保存される必要があるのは、文章の記述の投機的性格を表している。下書きというリソースが極端に遠い場合、ぜんぜん別な記述の仕方やマーキングを発達させても不思議ではない。
画家であれば、画家の思考は筆先とカンバスに宿るといったって構わない。つまるところカンバスとは画家の記憶領域であり、画家はそこに絵の具を投機的に配置する。
謎に断言を繰り返しているが、すくなくとも自分はコードをそのように書いている。脳内にある思考をコードに投影するというより、適当に書いて適応するか確かめる。
自分にとって思考という過程がなにかといえば、この種の探索過程である。プログラムは書きながら考えるというのはまさにそれである。言語は、内面の表現としてあるのではなく、探索過程において配置される碁石のようなものであり、その配置の関係の模索こそが思考という過程である。