阅读时间:
什么是降维?
“大数据”对你来说意味着什么?对大多数人来说，它指的是包含数百万个数据点的庞大数据集。它已经成为我们依赖科技的文化的一个基本组成部分。到目前为止，已经有惊人的500亿张照片被上传到Instagram, 2500亿张照片被上传到Facebook。我们习惯于听到机器学习如何利用这些越来越大的数据集来分析趋势并产生新的见解。然而，“大数据”中的“大”也可以指数据点本身。
智能手机现在都配备了4k摄像头。它们的分辨率为3840 x 2160，每张图像的像素高达800万，24位精度的文件大小为24MB。单个医学图像甚至可以更大。典型的3D MRI扫描可能具有512 x 512 x 128的分辨率，因此使用128MB内存(32位精度)存储3300万体素(3D像素)。医生真的能从一次扫描中得出3300万个结论吗?
最终，这取决于我们想要得到什么样的结论。例如，医生通过医学扫描来分期癌症，需要知道有多少个肿瘤，它们的位置、大小和其他特征。这些信息不需要3300万个变量就可以写下来。较高分辨率的图像对于改进检测是可取的，但它们所包含的相关符号信息的量仍然相对较小。
对话是怎么进来的?
想象一下，你正在向朋友描述你梦想中的房子。
“它在海边的悬崖上，用红砖建成，有两层楼，一个烟囱和巨大的窗户。”
对话降维:
自动编码器由一个编码器组成，E将输入x映射到低维版本z。然后由D解码得到x≠。通常情况下，E和D是经过训练的神经网络，因此x´与x尽可能接近(在某些预定义的“接近度”定义下)。
在这里，语音作为信息传递的低带宽媒介。你被迫将脑海中的房子压缩或编码成文字，然后由听者解码。希望他们创造的形象与你设想的原始形象相似。你的语言表达了你想表达的精髓。
在这个降维的例子中，我们假设世界及其所有的复杂性都可以用语言充分地表达出来。显然，让作家们感到沮丧的是，我们永远无法完全用这种方式描述世界。在这个过程中，我们总是会失去一些细微的差别，也不能保证我们的话语每次被解读时都是一样的。读到这篇文章的任何两个人都不会想象到同一栋房子。优秀的演说家和作家都有一个共同的技能，那就是在一定的字数内尽可能多地传达相关信息。
然而，在保留我们所关心的信息和最小化压缩格式大小之间需要权衡。任何降维、重建或去噪技术，无论是线性回归、主成分分析还是自编码器，都遵循这一原则。有损压缩格式，如JPEG和MP3，其工作原理相同。
所以为什么不完全跳过对话呢?为什么要压缩概念呢?
压缩的好处在于过程本身，也在于最终结果。回想一下，自动编码器被训练来重建数据。这似乎是一个毫无意义的任务;复制你已经拥有的东西有什么用?关键在于存在信息瓶颈，对于人类交流来说，这通常是言语、手势和肢体语言。
你曾经通过向别人解释一个想法来更好地理解它吗?如果我们把它分解，会发生两件事。多余的细节被剥离，以最简单的形式展示概念，同时进行重组，使其更易于理解。在机器学习中，前者被称为去噪，后者被称为解纠缠1．两者都是自编码器的固有特性2以及健谈的人。从本质上讲，通过努力让别人更容易理解，你的观点在你自己的头脑中变得更容易解释。
不是每个工程师都喜欢交谈，这不是什么秘密。有些人甚至像埃隆·马斯克一样，试图解决“ 数据速率问题 人类交流。马斯克的公司Neuralink正在开发一种方法，通过将思维与机器连接起来，完全绕过语音，从而增加人类交流的带宽。
这在理论上听起来很棒，但在我们亲身体验之前，我们永远不会知道所有的好处和后果。想象一下，完全了解别人的想法和感受。这种亲密的联系可能会帮助我们超越表面的差异。但是，我们是否会失去对话所包含的思想结构?
如果我们不能组织和解释我们自己的思想和感情，我们又怎么能期望别人理解我们，或者真正理解别人呢?我们是否应该接受我们永远无法真正了解彼此的想法?
如果你明白我的意思。
引用:
1.李文杰，李文杰。表征学习的研究进展。arXiv: 12065538 (cs)．http://arxiv.org/abs/1206.55382014年4月23日在线发布。2021年6月30日访问。
2.Rolinek M, Zietlow D, Martius G.变分自编码器追求PCA方向(偶然)。 arXiv:181206775 [cs, stat] ． http://arxiv.org/abs/1812.06775 2019年4月16日在线发布。2021年6月30日访问。
广告
