Yoshua Bengio訪談筆記：用意識先驗糅合符號主義與聯結主義

dengfanxin 未來

本文轉載自機器之心 作者：邱陸陸。

這篇文章極好地闡釋了AI先驅們對通用智能的理解，Bengio不愧為一代大師。感謝機器之心如此專業的分享，也感謝Bengio引領我們走向正確的方向，他所提到的幾件重要的事情都體現了他對人類智能深刻的理解。1. 世界模型。無意識狀態中存儲了海量的關于世界的知識、關系、信息，智能始終基于對世界的理解來進行推理預測。 2. 符號化，我稱之為離散化或完形化，從復雜感知數據，海量特征中涌現單一整體的過程，是聯結主義和符號主義的橋梁，由于離散化的存在，連續的變化的數據才變成了單一、離散的表征，我們才能進行程序化的計算、推理，這也是我下一個要提到的圖靈機制的關鍵所在。3. 圖靈機制。Bengio所提的意識State恰恰說明他意識到了大腦中圖靈機制的存在，意識State就是運行時的世界模型，從記憶中提取的世界知識，借助感知數據，我們在意識活動（注意和工作記憶）下建立運行時的世界模型，并進行推演從而做出準確的預測。正因為有了這樣的理解，我們才能夠自信地認為BERT的基于概率的方向是存在明顯問題的，至少他不是人腦運作的方式。我們應該結合神經網絡的海量表征潛在常識與自然語言的數據，共同來筑建運行時模型，才能做出最準確的對語言的理解，才能進行推理和解決問題。對此Bengio非常謙虛地表示，在這個框架下未來將有很多工作要做，是一種非常務實的心態，如何訓練出我們想要的海量無法用言語來形容的，對意識層面或者完形、離散化有益的表征，將是下一步研究課題。

 

對表征（representation）空間的依賴貫穿計算機科學乃至日常生活的始終。在計算機科學中，如果數據有精當的結構，輔以智能化的索引，那么搜索任務的速度可以指數級加快；對于人來說，計算『 210 除以 6 等于幾？』是容易的，計算『 CCX 除以 VI 等于幾？』則需要更多時間。表征空間的選擇對機器學習算法的性能影響，由此可見一斑。」《深度學習》[1] 一書如是評價表征的重要性。 Read more

完形與世界模型

dengfanxin 思想實驗

本文主要探討完形與世界模型的關系。


格式塔心理學引入了心理學的動力學視角，啟發我們從一個全新的角度看待世界模型的構建，自我、感官、舊腦等綜合作用下會產生不同的行為環境的內容。
考卡夫向我們展示了一系列實驗，表明人在解構感知信息時會傾向于簡單性、相似性、閉合性等一系列完形原則，雖然其大作《格式塔心理學原理》中并未探討成因，但在生理-心理聯合框架上下足了理論功夫。 Read more

ICPS 2015上認知語言學之父George Lakoff的演講全文

dengfanxin 教程

如果全部讀完，基本算是一門腦科學、心理學、神經科學入門指引課。視頻地址：https://www.youtube.com/watch?v=WuUnMCq-ARQ

 

Most thought is unconscious, and the usual estimate is around 98 percent. But if you believe the work that Stan Dehaene talked about the other night, it is more than 98 percent. Consciousness is the tip of the iceberg of thought. It is there that things are put together in an interesting way and the interesting way is the following, that before consciousness, what happens is that your brain unconsciously changes what you perceive or what you think. This is something remarkable. I think one of the best papers I heard on this was by Shin Shimojo who is a vision scientist at the Caltech. He came to Berkeley a couple of months ago and gave a truly remarkable overview of experiments that showed this, many of them which were his. Let me give you a sense of this. Suppose you know that if there are flashing lights and they are going along and they are going fast enough, they look like a single stream. Read more

Tensorflow數據讀取指南

dengfanxin 技術

tensorflow的靈活性帶來的學習成本是很多人頭疼的問題，在tf中，讀取數據基本有四種方法：
1. tf.data （官方推薦）：方便地構建復雜的輸入管道
2. Feeding：通過input_fn來yield數據
3. QueueRunner：基于隊列的輸入管道
4. 預加載數據。用constant或variable在內存中存儲所有的數據
Read more

The Development of Movement – Stages

dengfanxin 未來

By Dr Emmi Pikler

An excerpt PEACEFUL BABIES – CONTENTED?MOTHERS (published in 1940),
taken from the Sensory Awareness?Foundation publication BULLETIN (Number 14/Winter 1994).

Children,?particularly in cities, tend to sit poorly and have bad posture. They cannot?sit, stand or walk properly, not to mention more complicated movements.

This,?of course, is not self-evident to every reader.??I can hear the astonished responses: “What? My children can’t move?!”?“My little daughter could already sit when she was just?four months old”??“Mine was already standing at six months”…?“When my son was not even one year old, he was walking.”
Read more

世界模型 World Models部分翻譯

dengfanxin 經典翻譯

本文對論文《world Models》的前半部分進行了翻譯，看過前半部分基本就了解結構了，我個人認為Schmidhuber還是一如既往地喜歡把小東西往宏大了說，當然也多虧了他起的題目，很多人對世界模型產生了濃厚的興趣。但本文的確不能說在世界模型方面有了飛躍的進步，只是將隱變量配合LSTM當作了世界模型，所以我不打算翻譯后半部分了。雖然現在大家對于時序問題還沒有太好的辦法，很多時候不得不靠LSTM，但LSTM絕對不是未來。

世界模型 World Models
David Ha, Jurgen Schmidhuber

摘要

我們研究在流行的強化學習環境中構建生成神經網絡。以監督的方式可以快速訓練我們的世界模型學會環境的壓縮空間和時間表征。將從世界模型中抽取的特征作為智能體的輸入，我們能訓練出一個非常緊湊簡單的指定任務解決策略。我們也能訓練智能體完全沉浸在自己的幻覺中基于它的世界模型做夢，并將策略遷移回實際環境中。

Read more

网上买快乐飞艇是合法的吗