… これは大事な感覚です。主成分分析(PCA)を含め, 統計学的な手法は数学的にはきっちりしているのですが, 解釈は多かれ少なかれ主観的です。特にPCAはその傾向が強いです。PCAは解釈には向かず, 情報圧縮に割り切って使うのが賢明ではないかと私は思っています(情報圧縮とは? などの話はまた長くなるので省略します笑)。
… 単体でも十分に役立ちますよ。量子力学ではハミルトニアンという行列の固有ベクトルを「エネルギー固有状態」と言って, たとえば1s, 2s, 2px, …などの電子軌道がそれです。それらに対応する固有値は軌道のエネルギー準位です。