Pesquisadores desenvolveram um algoritmo de aprendizado profundo chamado Zebra que pode reconstruir o que um rato está vendo por meio da decodificação dos dados neurais do córtex visual. O algoritmo é capaz de decodificar quadros de filmes complexos a partir do cérebro, o que não era possível há uma década, quando apenas formas simples podiam ser decodificadas. A atividade cerebral dos ratos, incluindo milhões de neurônios disparando em resposta a diferentes propriedades visuais, como objetos, cor, textura e emoções, é registrada usando imagens de cálcio de dois fótons. Os pesquisadores usaram dados de código aberto coletados de ratos geneticamente modificados que brilham em verde quando os neurônios disparam, permitindo o registro externo com uma câmera. O Zebra combina dados neurais e comportamentais para aprender um espaço de representação e pode prever qual quadro de filme um rato está assistindo ao passar seus dados neurais pelo algoritmo.
| Audio | |
|---|---|
Normal | Slow |
| English Transcript | Tradução |
| So what you're seeing here is a mouse watching a movie and what we want to be able to do, is to reconstruct what that animal sees. | Então, o que você está vendo aqui é um rato assistindo a um filme e o que queremos poder fazer é reconstruir o que aquele animal vê. |
| And that's exactly what we could do with our new deep learning algorithm called Zebra. | E é exatamente isso que poderíamos fazer com nosso novo algoritmo de aprendizado profundo chamado Zebra. |
| Zebra allows us to take neural data from the brain, the visual cortex of these mice, and train a deep learning model that allows us to then decode what the animal is actually watching. | Zebra nos permite pegar dados neurais do cérebro, o córtex visual desses ratos, e treinar um modelo de aprendizado profundo que nos permite decodificar o que o animal está realmente assistindo. |
| So, roughly 10 years ago, we were at the point where we could decode very simple shapes from the brains of animals or humans, but now we're at the point where we can decode literally movie frames, which has never been done before. | Então, cerca de 10 anos atrás, estávamos no ponto em que podíamos decodificar formas muito simples dos cérebros de animais ou humanos, mas agora estamos no ponto em que podemos decodificar literalmente quadros de filme, o que nunca foi feito antes. |
| So, when humans or even mice watch this movie, what is happening is that millions of neurons in their brain is firing in response to the different properties of this video, whether it's the objects the color the texture, or even the emotions that are invoked in you in watching and understanding this. | Então, quando humanos ou mesmo ratos assistem a este filme, o que está acontecendo é que milhões de neurônios em seus cérebros disparam em resposta às diferentes propriedades deste vídeo, sejam os objetos, a cor, a textura ou mesmo as emoções que são invocadas ao observar e entender isso. |
| And so, what we need to be able to do is, given we can only record from a small part of the brain at any one given time, is to build this deep learning model that actually represents all of these abstract spaces, these so-called hidden latent Dynamics in the brain. | E assim, o que precisamos ser capazes de fazer é, dado que só podemos gravar de uma pequena parte do cérebro em um determinado momento, construir esse modelo de aprendizado profundo que realmente representa todos esses espaços abstratos, conhecidos como Dinâmica latente oculta no cérebro. |
| We used open source data that was collected from the brains of mice, using electrophysiological signals or new technology called Two Photon Calcium Imaging. | Usamos dados de código aberto que foram coletados do cérebro de camundongos, usando sinais eletrofisiológicos ou uma nova tecnologia chamada Two Photon cálcio Imaging. |
| That literally means that these mice are genetically engineered that every time the neuron fires or transmits information they glow green so we can truly just record them from the outside with a camera. | Isso significa literalmente que esses ratos são geneticamente modificados para que toda vez que o neurônio dispara ou transmite informações, eles brilham em verde para que possamos realmente registrá-los do lado de fora com uma câmera. |
| So we can take these genetically engineered mice and record from their brain while they watch these movies. | Então, podemos pegar esses ratos geneticamente modificados e gravar de seus cérebros enquanto eles assistem a esses filmes. |
| You can do this from many mice and use that as training data to train the base algorithm in Zebra, then you can take a new mouse whose neural data we've never seen, run this through the algorithm and it can then predict which frame the mouse is actually watching of this movie. | Você pode fazer isso com muitos ratos e usá-los como dados de treinamento para treinar o algoritmo básico em Zebra, então você pode pegar um novo mouse cujos dados neurais nunca vimos, executar isso através do algoritmo e ele pode prever qual quadro o mouse está realmente assistindo deste filme. |
| Concretely, what we did is we modified the loss function of an algorithm called contrastive learning and what this now allows us to do is to sample from both discrete and continuous data streams to build this representation space. | Concretamente, o que fizemos foi modificar a função de perda de um algoritmo chamado aprendizado contrastivo e o que isso agora nos permite fazer é coletar amostras de fluxos de dados discretos e contínuos para construir esse espaço de representação. |
| Zebra takes neural data and the behavioral data of the animal and jointly learns this representational embedding space. | Zebra pega os dados neurais e os dados comportamentais do animal e aprende em conjunto esse espaço de incorporação representacional. |
| So here we have an example of a red moving up and down the linear track and we record new activity from hippocampus. | Aqui temos um exemplo de um vermelho movendo-se para cima e para baixo na trilha linear e registramos uma nova atividade do hipocampo. |
| And in this example, we shape the embedding space with the position information that we have available and find an embedding space that is highly accurate at decoding the position of of the red. | E neste exemplo, moldamos o espaço de incorporação com as informações de posição que temos disponíveis e encontramos um espaço de incorporação que é altamente preciso na decodificação da posição do vermelho. |
| Zebra of course doesn't have to be just about decoding the brain state for movie watching but actually can be generalized to completely other domains. | Zebra, é claro, não precisa ser apenas sobre decodificar o estado do cérebro para assistir a um filme, mas na verdade pode ser generalizado para outros domínios. |
Contagem de palavras
A tabela abaixo exibe as palavras encontradas neste vídeo, bem como o número de vezes em que aparecem.
Veja também: Para que serve esta tabela?
| Freq. | Palavra | Freq. | Palavra | Freq. | Palavra |
|---|---|---|---|---|---|
| 28 | the | 18 | we | 16 | and |
| 15 | to | 14 | of | 14 | is |
| 13 | that | 11 | this | 9 | what |
| 9 | from | 8 | so | 8 | can |
| 7 | in | 7 | data | 7 | a |
| 6 | these | 6 | mice | 6 | brain |
| 5 | zebra | 5 | watching | 5 | or |
| 5 | movie | 5 | do | 4 | you |
| 4 | space | 4 | record | 4 | new |
| 4 | learning | 4 | have | 4 | called |
| 4 | be | 4 | at | 4 | are |
| 4 | algorithm | 4 | actually | 3 | with |
| 3 | us | 3 | then | 3 | take |
| 3 | neural | 3 | mouse | 3 | embedding |
| 3 | deep | 3 | decode | 3 | animal |
| 3 | an | 3 | allows | 2 | which |
| 2 | where | 2 | watch | 2 | train |
| 2 | time | 2 | they | 2 | their |
| 2 | red | 2 | position | 2 | point |
| 2 | now | 2 | never | 2 | model |
| 2 | literally | 2 | just | 2 | it |
| 2 | information | 2 | humans | 2 | here |
| 2 | given | 2 | genetically | 2 | example |
| 2 | even | 2 | engineered | 2 | decoding |
| 2 | could | 2 | but | 2 | build |
| 2 | brains | 2 | able | 1 | years |
| 1 | whose | 1 | while | 1 | whether |
| 1 | when | 1 | were | 1 | was |
| 1 | want | 1 | visual | 1 | video |
| 1 | very | 1 | using | 1 | used |
| 1 | use | 1 | up | 1 | understanding |
| 1 | two | 1 | truly | 1 | transmits |
| 1 | training | 1 | track | 1 | through |
| 1 | them | 1 | texture | 1 | technology |
| 1 | takes | 1 | streams | 1 | state |
| 1 | spaces | 1 | source | 1 | small |
| 1 | simple | 1 | signals | 1 | shapes |
| 1 | shape | 1 | sees | 1 | seen |
| 1 | seeing | 1 | sample | 1 | run |
| 1 | roughly | 1 | response | 1 | represents |
| 1 | representational | 1 | representation | 1 | reconstruct |
| 1 | properties | 1 | predict | 1 | photon |
| 1 | part | 1 | outside | 1 | our |
| 1 | other | 1 | open | 1 | only |
| 1 | one | 1 | objects | 1 | not |
| 1 | neurons | 1 | neuron | 1 | need |
| 1 | moving | 1 | movies | 1 | modified |
| 1 | millions | 1 | means | 1 | many |
| 1 | loss | 1 | linear | 1 | learns |
| 1 | latent | 1 | jointly | 1 | invoked |
| 1 | imaging | 1 | hippocampus | 1 | highly |
| 1 | hidden | 1 | has | 1 | happening |
| 1 | green | 1 | glow | 1 | generalized |
| 1 | function | 1 | frames | 1 | frame |
| 1 | for | 1 | firing | 1 | fires |
| 1 | find | 1 | exactly | 1 | every |
| 1 | emotions | 1 | electrophysiological | 1 | dynamics |
| 1 | down | 1 | done | 1 | domains |
| 1 | does | 1 | discrete | 1 | different |
| 1 | did | 1 | course | 1 | cortex |
| 1 | contrastive | 1 | continuous | 1 | concretely |
| 1 | completely | 1 | color | 1 | collected |
| 1 | camera | 1 | calcium | 1 | both |
| 1 | behavioral | 1 | before | 1 | been |
| 1 | base | 1 | available | 1 | as |
| 1 | any | 1 | animals | 1 | all |
| 1 | ago | 1 | activity | 1 | accurate |
| 1 | abstract | 1 | about |
Excelente