Umowność jednoczesności. Gest w czasie.

W tym tekście interesuje mnie jedna z najbardziej intrygujących zagadek, jaką jest percepcja czasu. Będę mówił o czasie mówiąc o percepcji gestu. Na początek – dla przypomnienia – moja definicja gestu: „Gest to ruch, który ma sens”. Tak zbudowane określenie stawia gest pomiędzy ruchem, a sensem. Pomiędzy percepcją czasu, a znaczeniem gestu.

Tekst ukazał się w 7 numerze TAKEME …

Kontynuuję rozważania na marginesie projektu wykonywanego w Zakładzie Badań Wizualnych i Interakcji ASP w Katowicach, w którym opracowujemy metody pozwalające na określanie znaczeń gestów w komunikacji pomiędzy człowiekiem, a komputerem.
Więcej o projekcie: http://my.opera.com/gestyzbwii/blog/

W TAKEME 01 pisałem o średniowiecznej (XII w.) koncepcji przestrzeni gestów – wspominając Hugona od Świętego Wiktora, uczonego i opata klasztoru Saint-Victor, który był przekonany, że istnieje prosta relacja pomiędzy gestem, a tym, co ma on wyrażać – między widzialnym, a niewidzialnym.

W TAKEME 03 poszukując źródła gestu, odnalazłem go w kontekście całej postaci człowieka na przykładzie fresków wykonanych przez Michała Anioła w kaplicy Sykstyńskiej. Projekt Sykstyna łącząc intuicję z racjonalną analizą wyznacza nową interpretację gestu.
Więcej o projekcie: http://projekt-gesty-sykstyna.blogspot.com/

W TAKEME 05 zestawiłem ze sobą pojęcia „intuicji’ i „naturalności” w odniesieniu do pojęcia „gest naturalny” i zastanawiałem się, co łączy gest naturalny z intuicją.

W tym tekście interesuje mnie jedna z najbardziej intrygujących zagadek, jaką jest percepcja czasu. Będę mówił o czasie mówiąc o percepcji gestu. Na początek – dla przypomnienia – moja definicja gestu: „Gest to ruch, który ma sens”. Tak zbudowane określenie stawia gest pomiędzy ruchem, a sensem. Pomiędzy percepcją czasu, a znaczeniem gestu.

Zmysły – to droga do postrzegania świata. Jeden zmysł wystarcza by widzieć kolory, odczuwać szorstkość powierzchni czy słyszeć dźwięki. Niektóre aspekty postrzeganego świata wymagają więcej niż jednego zmysłu. Wydaje się, że widzimy, dotykamy czy słyszymy również upływający czas. Jeżeli zatrzymamy na jakiś okres działanie naszych zmysłów, to i tak po zmianie struktury naszego myślenia potrafimy zauważyć upływ czasu. Być może, w odróżnieniu do pięciu zmysłów, mamy specjalny zmysł do wykrywania czasu. A może widzimy czas poprzez postrzeganie innych rzeczy? Czy badania nad gestem mogą przyczynić się do odpowiedzi na te pytania?

W potocznym języku gestem nazywamy zarówno fotograficzny obraz gestu – a więc gest nieruchomy, jak i dynamiczny rozciągnięty w czasie gest. Zgodnie z podaną definicją, nie można fotograficznemu obrazowi gestu nadać nazwy gest. Gest musi być związany z jednej strony z ruchem, a z drugiej z sensem. W przypadku fotograficznego obrazu gestu mamy sens, nie mamy natomiast ruchu.

Fotograficzny obraz gestu nie może być, w ścisłym znaczeniu, określony jako gest. Pozostaje nazwać taki przypadek układem rąk, dłoni czy ciała – w dalszej części tekstu po prostu „układem”. Różnica pomiędzy gestem, a układem jest, więc różnicą pomiędzy ruchem, a jego brakiem.

W uproszczeniu można przyjąć, że na gest składają się określone sekwencje układów. Ujęcie jednego takiego układu w nieruchomy obraz oddziela układ od ruchu wykonywanego gestu i tym samym stawia układ poza gestem. Możliwość odczytania sensu na podstawie obserwacji nieruchomego obrazu układu jest możliwe tylko w kontekście jakiegoś ruchu, czyli czasu w jakim się odbywa. Odniesieniem czasowym dla ujętego w nieruchomy obraz układu jest ruch (czas) gestu, jaki pozostał w pamięci obserwatora. Można go nazwać ruchem (czasem) mentalnym.

Pomiędzy poszczególnymi układami istnieją związki przyczynowe pozwalające wiązać sekwencje układów w gest wykonywany w czasie. Można powiedzieć, że obserwując gest widzimy nie tylko poszczególne sekwencje, ale również związki przyczynowe. W pamięci obserwatora zostaje zapisana określona liczba sekwencji oraz kombinacje związków przyczynowych pomiędzy sekwencjami.

Doświadczenie obserwatora pozwala gromadzić mu w pamięci długotrwałej zbiory sekwencji oraz związków, kombinacji pomiędzy nimi. Im większe doświadczenie obserwacji gestów tym większa „kolekcja” sekwencji i związków między nimi.

Obserwacja gestu ma charakter liniowy – można rzec – od pierwszej do ostatniej sekwencji. Szybkość odczytywania znaczenia gestu jest związana z szybkością przewidywania możliwych związków przyczynowych pomiędzy następującymi po sobie układami – sekwencjami. To oznacza, że wprawni „czytacze” gestów na przykład głuchoniemi, są w stanie przewidywać znaczenie gestu na podstawie niepełnej liczby układów składających się na gest.

Obserwacje badanych przeprowadzone podczas testów semantycznych, wykonywanych w ramach wspomnianego na początku projektu, skłaniają do jeszcze jednej uwagi.
Testy semantyczne polegają – w przypadku naszego projektu – na odczytywaniu znaczenia prezentowanego ruchomego lub nieruchomego obrazu. Badani oglądają na video – nieznany wcześniej – wykonywany przez osobę gest. Po obejrzeniu są proszeni o podanie znaczenia widzianego gestu. Moją szczególną uwagę zwrócił fakt wahania się badanych w trakcie podawania znaczenia gestu. Przyjąłem, że wahania są związane z gestem prezentowanym na filmie.

Co w prezentowanym na filmie geście powoduje wahanie? Najczęstszą przyczyną wahania była złożona budowa gestu. W bardzo wielkim uproszczeniu można powiedzieć, że gest jest jakąś akcją, która ma początek, rozwinięcie i koniec. Jeżeli poszczególne układy wyraźnie wskazują na te elementy akcji, to budowę gestu można uznać za prostą. Ważną również sprawą jest równomierne rozłożenie układów w stosunku do poszczególnych elementów akcji gestu. I tak, jeśli zbyt dużo układów określa początek gestu, niewiele rozwinięcie i koniec, to budzi to również wahanie. Najbardziej jednak intrygującą zagadką jest wahanie, po którym następuje powiedzenie „nie wiem”.

Obserwacje badanych w trakcie wykonywania testów pozwoliły mi odkryć jeszcze jedną – nie wiem czy nie najważniejszą – właściwość gestu. Otóż miałem nieodparte wrażenie, że badani „widzą” wcześniej budowę gestu niż zdążą odczytać jego sens. To znaczyłoby, że informacje o budowie gestu „startują” równocześnie (lub wcześniej) z informacją o sensie. Gdyby tak było prowadziłoby to do konieczności odrzucenia liniowej koncepcji czasu gestu, a w konsekwencji gestu, jako akcji, która ma początek, rozwinięcie i koniec.

Standardowy – „topologiczny” można powiedzieć – model czasu to prosta ciągła linia bez końców. Czymś naturalnym jest myśleć, że czas może być reprezentowany przez linię. Pytanie o to, jaki kształt powinna mieć figura, która reprezentuje czas – to pytanie o strukturę czasu. A to pytanie filozoficzne.

Wracam do gestów. Pomyślałem więc, że gdyby układy gestu miały coś w rodzaju znaczników, które są widoczne zanim widoczne są układy i gdyby odrzucić koncepcję liniową to znaczyłoby, że układy nie dotyczą gestu rozłożonego na kawałki i ułożonego liniowo, lecz warstw gestu – można powiedzieć wielu kanałów jednocześnie.

Czy liniowa koncepcja czasu wyjaśnia wątpliwości dotyczące percepcji gestu? Czy może „nową przygodą” będzie przyjęcie modelu percepcji wielokanałowej gestu? Być może znaczenie gestu jest ściślej związane z czasem niż do tej pory się nam zdawało? Odpowiedź pewnie dadzą dalsze badania. Fascynuje przecież zagadka, jak to możliwe, że „gest jest czasem, w którym staje się sens”.


Na ilustracjach przedstawiono wybrane sekwencje z filmów video, na których zarejestrowano „gest pomocy” wykonywany przez różne osoby. Sześć klatek (zielone tło) ułożono liniowo od początku do końca gestu i zakończono negatywowym obrazem (fioletowe tło) nałożonych na siebie sześciu klatek gestu pomocy. Na tym połączonym obrazie można zaobserwować zakres ruchu rąk w trakcie wykonywania gestu pomocy.

Reklamy