今月のひとこと 2023年10月1日
チャットGPT の大規模 言語モデルの詳細がだんだん 分かって来ました。 従来はモデルの規模を大きくすると効率がだんだん下がって頭打ちになるというのが常識でしたが、今回の言語モデルでは規模を大きくしても性能が直線的に上がって行くと言うことで、しかも さらにもっと上げると急激に 性能が上がるということが分かってきた、ということが非常に大きなポイントのようです。
これは驚愕の結果で、従来の研究者はこぞって反対したとのこと。 誰でもそう思いますよね。 しかも、10の22乗Flops以上の計算で、性能が飛躍的に伸びるとの研究もあります。
スパコン富岳の整数(AI推論)理論最高値(8 bit)は、4.30 エクサオップスなので、18乗。 計算上では富岳を1万台繋ぐと、人工知能の性能が飛躍的に上がって、自意識が生まれ、人間と変わらないものが出来るのではないでしょうか。
人間の脳髄は1000億から1500億の細胞から出来ており、各細胞は1万個ぐらいのシナプスが付いていると言われています。 Flopsと個数とでは次元が異なりますが、シナプスは10の15乗ぐらいの数になり、どうもこの辺りの規模になって、色々な事が発生するのでは無いかと思います。
人間の脳がどの様に働いているのかよくわからなかったのですが 、やはりこれも規模の問題であろうと思います。 ある程度 規模が増えると、その中でいろんなことが起きて 自意識は生まれてくるということになるようです。
大規模 言語モデルためには非常に大きなコンピューター リソースが必要となりますので 開発投資をどうするかという決心をしないといけないのですが、規模を大きくしても性能低下が起きないと言う事が分かって、安心して非常に大きな開発投資ができるようになったと言うのが理由の様です。 特段の技術進歩があったわけでも無いのは、少し物足りないですが、今後の人工知能開発の大きな方向性をだしたと言う点では大進歩だと思います。
ディープラーニングによって音声認識が飛躍的に向上したというのを目の当たりにして、 私は過去に音声認識開発に携わっていたものとして、驚愕したと同時に、技術のクオンタムジャンプ が目の前で起きたことで、さらに驚きました。
次のクオンタムジャンプはいつ起きるのかと思っていました。 10年ぐらい先だろうとタカを括っていたのですが、どうも これが 次のステップで今はその一歩手前にあるのでは無いかと感じます。 もう少し 計算能力が上がっていくと 本当のクオンタムジャンプが起きて、本当の 人工知能が出現するのではないかと思います。
文章や概念を理解するということは、どのようなことを言うのかというのは非常に議論になっています。 基本的な情報を与えておいて、それに対していろんな質問をして的確に答えれば 、それはその元の情報 なり 文章を理解していると言えるのではないのか、人間の理解というのも 基本的にそういうことではないのか、という話になっています。
現在のチャットGPT でも与えられた情報ないしは プロンプトによって質問にするときちんと答えてくれます。 これを 単なる文章の単語連結 の確率という点で捉えるのは不自然な感じがします。 単にその連結確率だけでは考えられないと思います。
さらに人工知能が自意識を持つということは一体どういうことなのかというのが 議論の的になっています。 それを証明する方法がありません。 人間は自分で考えてるのでそうだと思っていますが、人工知能が自意識を持ったということを外部からどうやってそれを証明するのかというのは、非常に難しい話であります。
逆に言うと 自意識があろうがなかろうが、きちんとした対応が出来るのであれば、 それはそれでいいないいじゃないかという感じもします。 これで思い出すのは素粒子のコペンハーゲン解釈です。 素粒子は確率でしか存在しないということですが、実際にそれはどういう状態なのか、 常識では想像できないのですが、コペンハーゲン学派としては、実際はどうなってるかわからないが 数学的にちゃんと計算できるのであれば、 それはそれで良いと言うのが コペンハーゲン解釈ですが、それと似たようなところがあるのでは無いかと面白く思いました。
以前のチャットGPTは、何とか答えを出そうと完全なウソを回答していましたが、最近では回答を拒否されることが多くなり、面白く無くなりました。
テスラの自動運転ですが、なかなかうまくいってないようです。 イーロンマスクは自動運転を規模の問題で解決できると思っている節が多々あります。 すでに何千万マイル もの 走行データがあるとか言っていますので、ある 閾値超えると人間と変わらないようなに自動 運転ができると信じているようです。
確かに 人間もほぼ視覚から入った情報で初めて起きる事象に対してちんと対応できてますので、 不可能な話ではないと思います。 ひょっとしたら 今の計算量を100倍 1000倍するとそういうことが起きてくるのかもしれません。
Nvidiaの16Gメモリのグラボを使うとPCでもLLMが動いたと言う記事もあり、自動車にも反れくらいのコンピュータが必要なのかもしれません。 さらには情報をシュリンクする技術が発展して、小さなコンピュータでもLLMや自動運転のシステムが動くようになるのかもしれません。 今回のチャットGPTで良く分かったのは、そういう規模の拡大が本質的な変革を生じるということが分かったと言うのが非常に大きな点で、今後が本当の人工知能への最後のステップ かなと思っています。
先日 IoT 的に使っていた農園の温度映像監視のルーターが台風で水をかぶってしまって動かなくなったので、何か良いものはないかと大分 探してみました。 従来は ポケット WiFi を使っていたのですが、 小型ですがどうしても信頼性にかけるというところがありましたので探していると、IO データの SIMフリー4G（LTE）ルーター WN-CS300FR を見つけました。 回線工事不要で固定回線が引けない環境でのテレワークやリモート授業に最適！ との事ですが、 遠隔地での IoT で使うには 便利な機能がいくつがついています。
それはリモート管理で、離れたところから IP アドレス制限をかけた上で 管理画面に入れるという機能がついています。 それと LTE ですと固定グローバルIPアドレスを割り振るのは難しいのですが、ダイナミック グローバル IP は 割り振られるので、これに対応する DDNS機能がついています。 そのサービスも IO データが無料でやっています。
ずっと以前は DDNS は 無料が多かったのですが、途中から有料化されてしまって、今までは年間で円安もあり1万円近く払っていました。これが無料になるのは非常に助かるということです。
それともう1つ見つけたのが WiMAX の端末です。よく調べると LTE も使えると言うところで、これの1つ 古いバージョンは端末は ヤフオクで300円ぐらいで入手しました。 送料が1000円ぐらいかかるので1300円ぐらいかかったのですが それでも格安です。Speed Wi-Fi HOME L01/L01s。 これは割と大きな端末なので大きなアンテナが中に入っているので 感度は良いです。 さらに SSID が3つあったり 外部の LAN ポートが2つあったり、 非常に有用です。.jpg)
ただ DDNS 機能がないので自分で処理しないといけないです。グローバル IP が割り振られる SIM は 今のところ イオンモバイルのタイプ2ぐらいしかありません。 これは1G で月 当たり500円 ぐらいですので何箇所か 設置しても 問題ありません。
1G も使わないのですが、1G 使い切っても150Kbps ぐらいで動いているので IoT ですと、これぐらいのスピードでも十分です。 最近の監視カメラ はだいたい P2P で動いているので 特に DDNS でアクセスしないという いけないことはないのですが、 やはりURLでサーバーとしてアクセスできた方が便利なことが多いです。
先日 読んだ日経のコラムで元特許庁長官の宗像直子さんが書いていましたが、中国との関係に触れて、縷々書いておられますが、最後で以下のようにハッキリと言い切らないコラムが多い中で、爽快でした。 日本の政治家は全員、拳拳服膺して欲しい。
「自らに靡かない日本に対する中国の圧力は、水産物輸入禁止にとどまらないかもし れない。日本は、これを強靭な経済構造を 作る好機と捉え、改革を進め、魅力を高め、 蓄積してきた信頼を活かし、世界中から人 やビジネスが集まる国を目指す時だ。」
今月の読み物ですが チャット GPT の解説本でもっと つまらないかと思っていましたが非常に面白かった。 思わず 一気に読んでしまいました。 この本の文章も チャット GPT で書かれてるみたいなので、それも合わせて読まれたら良いと思います。 多少不自然なところがあって、なるほどな と思いますが、 ここで述べたような規模の問題というのを取り上げておりますので、 最近のAI事情をもう少し理解されたい方は読まれたらいかがでしょうか。
大規模言語モデルは新たな知能か――ChatGPTが変えた世界 (岩波科学ライブラリー) 単行本（ソフトカバー） 2023/6/20
■著者からのメッセージ
本書では大規模言語モデルの可能性と課題、その仕組みを一般の方に向けて書きました。また最新の研究成果にもとづいて現時点でわかっている知見や将来の展望もまとめています。
本書では大規模言語モデルのもつ大きな可能性とともに、考えられるリスクについても述べています。そのリスクは非常に大きく、人類社会を脅かす可能性もゼロではない以上、よく向き合うべきだという懸念が世界的に示されています。今後、そうした可能性には具体的にどのようなものがあるかを検討し、どうすれば対応していけるのか、考えていく必要があります。
本書の後半では、これまで機械はなぜ人のように話せなかったのか、どのように言語モデルと機械学習が発展してきたのか、そして、ChatGPTを実現した大規模言語モデルはどのような仕組みであるのか、数式を用いずに解説しています。
しかしながら、大規模言語モデルがなぜこのように成功したのか、まだわかっていないところも多いのです。さらに言えば、私たちはまだ、なぜ人がうまく言語を獲得でき運用できるのか、深く理解できていません。大規模言語モデルと人の言語獲得には、解明すべき謎が多くあるのです。
今後、大規模言語モデルを人類が適切に扱えるようにしていくことが重要です。本書が大規模言語モデルを理解する一助になれば幸いです。