Interacțiune vizuală & agenți Demonstrator de cercetare

Rozmowa, która może zmienić to, co widzisz.

World Agent to demonstrator interakcji w języku naturalnym z wizualną sceną. Badamy powiązanie między rozmową, stanem obiektu i widocznymi działaniami w środowisku 3D.

Discută o demonstrație Cum funcționează Vezi un exemplu

World Agent

Od informacji do wykonanej pracy.

Mówisz, czego chcesz

Żądanie w języku naturalnym opisuje pożądaną zmianę.

System interpretuje

Żądanie jest powiązane z działaniami dostępnymi w demonstratorze.

Scena odpowiada

Środowisko wizualne aktualizuje się, a kroki można śledzić.

Gdzie staje się przydatny.

Prezentacje produktu

Eksploracja obiektu i jego opcji poprzez rozmowę.

Interfejsy 3D

Powiązanie między poleceniami użytkownika a możliwą do nawigacji sceną.

Cercetare

Ocena wizualnego runtime przed integracjami komercyjnymi.

Scena i katalog demonstratora są konceptualne. Nie przedstawiamy integracji CRM ani generatywnego modelu świata jako połączonych w tej wersji.

World Agent w szczegółach

Co możesz zrobić z tym projektem.

World Agent odpowiada na pytanie interfejsu: co się zmienia, jeśli zamiast naciskać przyciski, mówisz, czego chcesz, a scena zmienia się przed Tobą? Mówisz, a samochód w scenie zmienia kolor, felgi, otoczenie, pogodę, porę dnia, kąt kamery, drzwi i bagażnik.

Najciekawsze nie jest to, że rozumie polecenie, lecz że każda zmiana zostawia ślad pokazujący, skąd pochodzi: z katalogu, z polecenia użytkownika, z warstwy kreatywnej albo z systemu. Warstwa mgły na alpejskiej trasie jest oznaczona jako „symulacja wizualna”; kolor z palety czterech jest oznaczony jako „katalog”. Użytkownik nie musi zgadywać, co jest prawdą, a co dekoracją.

Na dysku są trzy katalogi o podobnych nazwach; dwa z nich — `world-agent-v2` i `world-agent-provenance-atlas` — nie są osobnymi projektami, lecz roboczymi kopiami git tego samego repozytorium. Rzeczywista wersja to `world-agent` na gałęzi `main`, która dziś zawiera reformulację V2 „World Generator” i jest bit w bit identyczna z gałęzią `v2/world-generator`.

Lokalny, deterministyczny kompilator poleceń po rumuńsku

Około 22 reguł dopasowania na tekście rumuńskim tłumaczy zdanie na typizowaną zmianę stanu. „Zrób samochód biały i załóż sportowe felgi” trafia w dwie reguły i tworzy dwa odrębne zdarzenia. To nie jest model językowy: to kod działający w przeglądarce, daje ten sam wynik za każdym razem i można go czytać linia po linii.

Głos z powrotem do tekstu

Rozpoznawanie mowy korzysta z `webkitSpeechRecognition` w przeglądarce, z językiem ustawionym na `ro-RO`. Tam, gdzie interfejs nie istnieje — albo użytkownik preferuje klawiaturę — pasek poleceń pozostaje funkcjonalny, z tymi samymi zasadami. Nie wysyłamy audio nigdzie.

Deterministyczna scena 3D

Pojazd zbudowany proceduralnie z prymitywów Three.js (nadwozie, kabina z kapsuły szklanej, cztery koła z felgami, reflektory, drzwi, bagażnik), na platformie z pierścieniem, kratką i trzema światłami. Renderowanie z tone mappingiem ACES Filmic, ograniczonym współczynnikiem pikseli do 1,75 i całkowitym wyłączeniem animacji, gdy system wymaga mniejszego ruchu.

Szyna pochodzenia

Każda mutacja stanu tworzy zdarzenie z jedną z czterech etykiet: Catalog, User command, Creative layer lub System. Etykieta „Creative layer” wyświetla się dosłownie jako „Warstwa kreatywna / symulowana”. Karta oferty pojawia się ze szczegółem „Dane fikcyjne oznaczone — to nie jest oferta handlowa”.

Kontrakt runtime dla głosu i narzędzi wizualnych

Istnieje znormalizowane środowisko uruchomieniowe z ośmioma narzędziami wizualnymi (`visual.inspect`, `visual.highlight`, `visual.move`, `visual.create`, `visual.delete`, `world.query`, `ui.navigate`, `ui.open_panel`) i dziennikiem zdarzeń z numerami rewizji świata. Wywołanie z przestarzałą rewizją jest odrzucane z `STALE_REVISION`; powtórzone wywołanie z tym samym `actionId` zwraca pierwotne potwierdzenie oznaczone jako ponowienie. Adapter głosu sam zgłasza `NOT_CONNECTED` — kontrakt jest zaimplementowany, dostawca nie jest podłączony.

Uczciwy rejestr silników świata

Sześć pasów, każdy z zadeklarowanym statusem: udokumentowane API do integracji, działające otwarte komponenty, otwarte badania do oceny, dostawca do kontaktu, podgląd badawczy bez publicznego API oraz pas oznaczony jako zablokowany dla UE, gdzie przeanalizowane licencje nie autoryzują uruchomienia. Genie 3 jest wyraźnie w kategorii podgląd badawczy — nie integracja.

Dane i działanie

Co trafia do systemu. Co trzeba sprawdzić.

Czym jest silnik sceny, a czym byłby model generatywny: To jest granica, która najczęściej się zaciera. World Agent jest silnikiem sceny: obiekty istnieją wcześniej, dozwolone działania są wyliczone, a polecenie wybiera spośród nich. Generatywny model świata tworzyłby geometrię i dynamikę niewidziane wcześniej, na żądanie. Druga rzecz nie jest podłączona, a interfejs to mówi: w tym buildzie nie ma modelu bazowego generującego światy.
Słownictwo jest skończone i to jest właściwość, nie brak: Zapytanie spoza słownika nie uruchamia założenia: system odpowiada, że może kontrolować kolor, felgi, środowisko, pogodę, kamerę, drzwi, bagażnik oraz kartę demonstracyjną, i rejestruje zdarzenie „Zapytanie niewykonane — nie znaleziono bezpiecznej akcji w słowniku demo”. W demonstracji dla klienta granica słownika musi być widoczna, a nie ukryta.
Co jest konceptualne na scenie: Pojazd i katalog są konceptualne — cztery kolory z wymyślonymi nazwami, dwa zestawy felg, dwa wnętrza. Nie ma modelu 3D od producenta samochodów ani praw do niego. Ceny są celowo niedostępne: karta oferty ma etykietę fikcyjnych danych.
Co nie jest połączone: Bez CRM, bez katalogu producenta, bez cen na żywo, bez autonomicznych działań zewnętrznych. Osobiste konektory (poczta, komunikator) pojawiają się w interfejsie z etykietą NOT CONNECTED. Deploy obsługuje statyczny build: nie ma stanu serwera, więc nie ma też danych użytkownika.
Stan utrzymuje się tylko w sesji: Konfiguracja „zapisana” pozostaje w pamięci strony, z pochodzeniem System oraz szczegółem „Stan zapisany lokalnie w demo”. Odświeżenie ją usuwa. To nie jest baza danych.

Od eksploracji do wdrożenia

Jak przygotowujemy projekt z World Agent.

1. Wybieramy obiekt i to, co ma móc eksplorować odwiedzająca osoba

Produkt fizyczny konfigurowalny, przestrzeń, urządzenie. Pytanie wyjściowe brzmi, jaką decyzję podejmuje odwiedzająca osoba po zobaczeniu sceny.

2. Wypisujemy dozwolone akcje, a potem zapisujemy reguły

Zaczyna się od listy bezpiecznych akcji, a nie od listy fraz. Każda akcja otrzymuje reguły językowe, które ją uruchamiają, w języku publiczności, oraz poprawną etykietę pochodzenia.

3. Testujemy granicę, a nie środek

Prawidłowe zapytania są łatwą częścią. Testuje się zapytania niejednoznaczne, te spoza scenariusza i te, które łączą kilka akcji, aby odpowiedź „nie mogę tego zrobić, ale mogę zrobić te rzeczy” była użyteczna.

4. Publikujemy jako statyczny build

Rezultat to statyczny pakiet obsługiwany przez nginx na własnym serwerze, z certyfikatem Let's Encrypt i możliwością powrotu do poprzedniej wersji przez zmianę dowiązania symbolicznego. Nie wymaga procesu serwera.

Pytania, które warto wyjaśnić.

Który z trzech katalogów z World Agent jest tym prawdziwym?

Tylko jeden: `world-agent`, na gałęzi `main`. `world-agent-v2` i `world-agent-provenance-atlas` są roboczymi kopiami git (`git worktree`) tego samego repozytorium, używanymi po to, by mogło jednocześnie istnieć kilka wariantów projektu. `main` i `v2/world-generator` są dziś na tym samym commicie, więc „wariant V2” nie jest innym projektem, tylko tym, co działa.

To model generatywny świata, jak Genie lub Sora?

Nie. To silnik sceny: obiekty i działania istnieją wcześniej, a komenda wybiera spośród nich. Genie 3 pojawia się w naszym rejestrze silników dokładnie ze swoim rzeczywistym statusem — research preview, bez publicznego API do wydania, bez opublikowanych wag. To, co robimy my, jest mniej efektowne i łatwiejsze do zagwarantowania: ta sama komenda daje ten sam wynik, a każda zmiana ma etykietę pochodzenia.

Jak rozumie komendę — używacie modelu językowego?

Nie, i to jest wybór. Kompilator to zestaw około 22 reguł dopasowania do tekstu rumuńskiego, uruchamianych w przeglądarce, które tworzą typowane zmiany stanu. Zaleta: jest deterministyczny, nic nie kosztuje na żądanie, nie wysyła tekstu nigdzie i da się go audytować linia po linii. Wada: słownictwo jest skończone, a gdy żądanie z niego wypada, system mówi to wprost zamiast improwizować.

Na czym działa głos?

Na rozpoznawaniu mowy w przeglądarce — `webkitSpeechRecognition`, z językiem ustawionym na `ro-RO`. To w praktyce oznacza przeglądarki z silnikiem Chromium. Poza tym pasek tekstu robi dokładnie to samo, z tymi samymi regułami: głos jest wygodą, nie zależnością.

Czy ceny w arkuszu oferty są prawdziwe?

Nie, i są oznaczone jako takie już w samym wydarzeniu, które je wyświetla: „Dane fikcyjne oznaczone — nie jest to oferta handlowa”. Nie istnieje integracja z katalogiem producenta ani z systemem cen. W implementacji dla klienta źródłem cen byłby jego system, a etykieta pochodzenia zmieniłaby się z „Katalog demo” na rzeczywiste źródło.

Czy łączy się z naszym CRM-em?

Nie w tym buildzie. Konektory pojawiają się w interfejsie z etykietą NOT CONNECTED, a kontrakt narzędzi istnieje, ale adapter dostawcy sam raportuje `NOT_CONNECTED`. Jest jednak już napisana ciężka część: osiem typowanych narzędzi wizualnych, numery rewizji świata, odrzucenie przy nieaktualnej rewizji i potwierdzenia idempotentne — czyli dokładnie te zabezpieczenia, których potrzeba, aby agent nie zastosował dwa razy tego samego działania do stanu, który w międzyczasie się zmienił.

Czy można użyć tego do czegoś innego niż samochód?

Tak, przy pracach konfiguracyjnych opisanych wyżej: scena, lista dozwolonych działań i reguły językowe są przepisywane dla danego obiektu. To, co jest ponownie wykorzystywane, to architektura — deterministyczny kompilator, rail pochodzenia, kontrakt narzędzi i dyscyplina rewizji stanu.

Przykład ilustracyjny

„Zabierz nas w Alpy, w nocy, w deszczu”

Scenariusz użycia, bez danych klienta ani przypisanych wyników handlowych.

Sytuacja początkowa

Odwiedzający wypowiada lub wpisuje frazę w pasku komend.

Jak to działa

Tekst przechodzi przez reguły dopasowania w języku rumuńskim: „alpi” aktywuje środowisko alpejskie, „noapte” zmienia porę, „ploa” aktywuje warstwę deszczu. Każda reguła tworzy osobne zdarzenie z własną etykietą pochodzenia, a scena Three.js odpowiednio przestawia kamerę, mgłę i kolor tła.

Rezultatul

Scena zmienia się natychmiast, a w bocznym railu pojawiają się trzy wpisy: „Mediu compus — Strat creativ / simulat — Traseu alpin”, „Timp simulat — Strat creativ / simulat — Iluminare de noapte” oraz „Vreme simulată — Strat creativ / simulat — Strat de ploaie activ”. Agent odpowiada, że zastosował 3 zmiany i zachował źródło każdej z nich. Żaden wpis nie twierdzi, że jest prawdziwą daną.

Ce este necesar:Un browser cu WebGL. Pentru comandă vocală, un browser pe motor Chromium; altfel bara de text face același lucru.

Możliwości współpracy

World Agent, w kontekście twojej organizacji.

Wewnętrzne przepływy i informacje

Łączenie autoryzowanych źródeł, porządkowanie informacji i weryfikacja działań przez zespół, z osobnym dostępem według ról.

Firmy prywatne

Definiujemy pilotaż wokół realnego procesu: użytkownicy, dane, integracje, koszty i kryteria akceptacji. Rozszerzenie następuje po ocenie wyniku.

Instytucje i spółki państwowe

Ustalamy wymagania dotyczące dostępności, hostingu, ochrony danych i interoperacyjności. Każde połączenie z usługami AGE lub STISC wymaga walidacji kwalifikowalności, dostępu i zatwierdzeń.

To są scenariusze adaptacji, a nie oświadczenia o istniejących umowach lub partnerstwach. Proponowane funkcje są potwierdzane w zakresie pracy projektu.

Discută un pilot

Część ekosystemu.

Orașe și modele 3D

Relieva

Tworzymy reprezentacje 3D miasta, które łączą rzeźbę terenu, mapy i dane o przestrzeni zabudowanej.

Prototip & cercetare

API pentru modele AI

LongDay

Dostęp API do modeli AI przez wspólny interfejs.

Platformă

Cercetare vocală

Grai

Grai to nasz kierunek badawczy dla syntezy głosu i modeli dostosowanych do języków używanych tutaj.

Cercetare & dezvoltare

Co chcesz, żeby działało lepiej?

Opowiedz nam o swoim procesie. Wspólnie ustalimy, co warto zbudować, co da się połączyć i jak sprawdzimy wynik.

Porozmawiajmy