Kolmogorov–Arnold Networks

MLP (Multi-Layer Perception) is essentially a linear model wrapped with a layer of nonlinear activation functions to realize nonlinear spatial transformations. The advantage of a linear model is its simplicity, as each edge is two parameters w and b, which together are represented as a vector matrix, W. As the number of layers increases, the representation capability of the model increases.

C=6ND.

Comparing MLPs and KANs, the biggest difference is the change from fixed nonlinear activation + linear parameter learning to direct learning of parameterized nonlinear activation functions. Because of the complexity of the parameters themselves, it is clear that individual spline functions are harder to learn than linear functions, but KANS typically only require a smaller network size to achieve the same effect.

The paper shows us that even very few network nodes can achieve the same or even better results.

Fewer network nodes simplify the structure of the network, and thus the paper lends this to emphasize the interpretability of KAN networks.

KAN structure

Many three-quarter period sine functions can be combined to fit functions of arbitrary shape. In other words, two summations with B-spline, an activation function, are enough.

The number of layers and nodes of the KAN network are controllable and can be chosen arbitrarily:

Residual activation functions:

KAN accuracies

For KANs, one can first train a KAN with fewer parameters and then extend it to a KAN with more parameters by simply making its spline grids finer (???), without the need to retraining the larger model from scratch.

KindXiaoming/pykan: Kolmogorov Arnold Networks (github.com)

いくつ就職セミナー参加しました、今週もインターンシップの説明会あるので、参加しようと思います。

日本語を勉強しました。

　企業も絞れずESもまだ書けませんでした。今週こそは決めて書こうと思います。ミネベアミツミのセミナーに参加しました。
　エントリーやESの研究の欄は、高専の時の研究を書けばいいですか？それともテーマだけでも決めたほうがいいですか？

　学生プロジェクトに参加して、画面表示のviewを作成しています。

先週はソフトバンクのESを出した。日立やソニーもエントリーしようと考えている。
SPIの勉強もぼちぼち始めたい。

ソフトバンクのESを提出しました。今週はES作成とSPIの勉強をします。

smart_projectのフロントは完成したので、バックのほうの勉強をしようと思います。

ソフトバンクのESを提出しました。先輩に添削してもらい本当に感謝しています。今週はNRIのESを書くのでまたよろしくお願いします。

NRIはSPIが必要なのでSPIの勉強と自分の在庫管理システムの開発をしています。

研究テーマに使えそうな事を考える。

院試に向けて電磁気学の勉強を進めた。

昨晩から体調が優れないため本日は欠席させていただきます。院試の模試の結果が返ってきて自分の弱点を見つけました。