Interacțiune vizuală & agenți Demonstrator de cercetare

Розмова, яка може змінити те, що ви бачите.

World Agent є демонстратором для взаємодії природною мовою з візуальною сценою. Ми досліджуємо зв’язок між розмовою, станом об’єкта та видимими діями у 3D-середовищі.

Discută o demonstrație Як це працює Переглянути приклад

World Agent

Від інформації до виконаної роботи.

Ви кажете, що хочете

Запит природною мовою описує бажану зміну.

Система інтерпретує

Запит пов’язується з доступними діями в демонстраторі.

Сцена відповідає

Візуальне середовище оновлюється, а кроки можна відстежувати.

Де стає корисним.

Демонстрації продукту

Дослідження об’єкта та його опцій через розмову.

3D-інтерфейси

Зв’язок між командами користувача та навігаційною сценою.

Cercetare

Оцінювання візуального runtime перед комерційними інтеграціями.

Сцена та каталог демонстратора є концептуальними. Ми не подаємо CRM-інтеграцію або генеративну модель світу як підключену в цій версії.

World Agent детально

Що ви можете робити з цим проєктом.

World Agent відповідає на інтерфейсне запитання: що змінюється, якщо замість натискання кнопок ви кажете, чого хочете, і сцена змінюється перед вами? Ви говорите, а машина в сцені змінює колір, диски, середовище, погоду, час, кут камери, двері та багажник.

Цікава частина не в тому, що він розуміє команду, а в тому, що кожна зміна залишає слід, який показує, звідки вона походить: з каталогу, з команди користувача, з творчого шару або із системи. Шар туману на альпійському маршруті позначено як „візуальна симуляція”; колір із палітри з чотирьох позначено як „catalog”. Користувачеві не треба вгадувати, що є справжнім, а що — декорацією.

На диску є три каталоги зі схожими назвами; два з них — `world-agent-v2` і `world-agent-provenance-atlas` — не є окремими проєктами, а є git-робочими копіями одного й того самого сховища. Справжня версія — `world-agent` на гілці `main`, яка сьогодні містить переформулювання V2 „World Generator” і є біт у біт ідентичною гілці `v2/world-generator`.

Локальний, детермінований компілятор команд румунською

Приблизно 22 правила зіставлення на румунському тексті перекладають фразу в типізовану зміну стану. „Зроби машину білою і постав спортивні диски” зачіпає два правила і створює дві окремі події. Це не мовна модель: це код, який виконується в браузері, дає той самий результат щоразу і може бути прочитаний рядок за рядком.

Голос із поверненням до тексту

Розпізнавання голосу використовує `webkitSpeechRecognition` у браузері, з мовою, зафіксованою на `ro-RO`. Там, де інтерфейсу немає — або користувач надає перевагу клавіатурі — панель команди залишається функціональною, з тими самими правилами. Ми не надсилаємо аудіо нікуди.

Детермінована 3D-сцена

Транспортний засіб, побудований процедурно з примітивів Three.js (кузов, кабіна зі скляної капсули, чотири колеса з дисками, фари, двері, багажник), на подіумі з кільцем, сіткою і трьома світлами. Рендеринг з tone mapping ACES Filmic, обмеженням pixel ratio до 1,75 і повним вимкненням анімації, коли система вимагає зменшення руху.

Rail походження

Кожна зміна стану створює подію з однією з чотирьох позначок: Catalog, User command, Creative layer або System. Позначка «Creative layer» відображається дослівно як «Страт творчий / симульований». Форма пропозиції з’являється з деталлю «Фіктивні дані позначені — це не комерційна пропозиція».

Контракт runtime для голосу та візуальних інструментів

Існує нормалізований runtime з вісьмома візуальними інструментами (`visual.inspect`, `visual.highlight`, `visual.move`, `visual.create`, `visual.delete`, `world.query`, `ui.navigate`, `ui.open_panel`) і журналом подій із номерами ревізій світу. Виклик із застарілою ревізією відхиляється з `STALE_REVISION`; повторний виклик із тим самим `actionId` повертає оригінальну квитанцію, позначену як повтор. Голосовий адаптер сам повідомляє `NOT_CONNECTED` — контракт реалізовано, постачальник не підключений.

Чесний реєстр рушіїв світу

Шість смуг, кожна зі своїм заявленим статусом: задокументований API для інтеграції, відкриті виконувані компоненти, відкрите дослідження для оцінювання, постачальник, з яким потрібно зв’язатися, попередній перегляд дослідження без публічного API, і смуга, позначена як заблокована для ЄС, де перевірені ліцензії не дозволяють запуск. Genie 3 прямо належить до категорії попереднього перегляду дослідження — не інтеграції.

Дані та робота

Що входить у систему. Що потрібно перевірити.

Що є рушієм сцени і що було б генеративною моделлю: Ось межа, яку найчастіше плутають. World Agent — це рушій сцени: об’єкти існують заздалегідь, дозволені дії перелічені, а команда обирає серед них. Генеративна модель світу створювала б геометрію і динаміку, яких раніше не було видно, на вимогу. Друге не підключено, і інтерфейс це прямо каже: у цій збірці немає базової моделі, що генерує світи.
Словник є скінченним, і це властивість, а не брак: Запит поза словником не запускає припущення: система відповідає, що може керувати кольором, дисками, середовищем, погодою, камерою, дверима, багажником і демонстраційним аркушем, і реєструє подію «Запит не виконано — не знайдено безпечної дії у словнику демо». У демонстрації для клієнта межа словника має бути видимою, а не прихованою.
Що є концептуальним у сцені: Транспортний засіб і каталог є концептуальними — чотири кольори з вигаданими назвами, два набори дисків, два салони. Немає 3D-моделі від автовиробника і немає прав на одну. Ціни недоступні навмисно: аркуш пропозиції має мітку фіктивних даних.
Що не підключено: Без CRM, без каталогу виробника, без живої ціни, без автономних зовнішніх дій. Особисті конектори (пошта, месенджер) з’являються в інтерфейсі з міткою NOT CONNECTED. Розгортання працює як статична збірка: воно не має серверного стану, отже й даних користувача.
Стан зберігається лише в сесії: Конфігурація «збережена» залишається в пам’яті сторінки, з походженням System і деталлю «Стан збережено локально в демо». Після перезавантаження вона зникає. Це не база даних.

Від дослідження до впровадження

Як ми готуємо проєкт з World Agent.

1. Обираємо об’єкт і те, що має змогти дослідити відвідувач

Фізичний конфігурований продукт, простір, обладнання. Вихідне запитання — яке рішення приймає відвідувач після того, як бачить сцену.

2. Перелічуємо дозволені дії, потім пишемо правила

Починають зі списку безпечних дій, а не зі списку фраз. Кожна дія отримує мовні правила, які її запускають, мовою аудиторії, і правильну мітку походження.

3. Перевіряємо межу, а не центр

Валідні запити — це легка частина. Перевіряються неоднозначні запити, ті, що поза сценарієм, і ті, що поєднують кілька дій, щоб відповідь «я не можу це зробити, але можу зробити ось це» була корисною.

4. Публікуємо як статичний build

Результат — це статичний пакет, який nginx обслуговує на власному сервері, із сертифікатом Let's Encrypt і можливістю повернення до попередньої версії шляхом зміни символічного посилання. Не потребує серверного процесу.

Питання, які варто уточнити.

Яка з трьох директорій із World Agent є реальною?

Лише одна: `world-agent`, на гілці `main`. `world-agent-v2` і `world-agent-provenance-atlas` — це робочі копії git (`git worktree`) того самого репозиторію, які використовуються, щоб одночасно існувало кілька варіантів дизайну. `main` і `v2/world-generator` сьогодні на тому самому commit, тож «варіант V2» — це не інший проєкт, це те, що працює.

Це генеративна модель світу, як Genie або Sora?

Ні. Це мотор сцени: об’єкти та дії існують заздалегідь, а команда вибирає між ними. Genie 3 у нашому реєстрі моторів з’являється рівно зі своїм реальним статусом — дослідницький preview, без публічного API для запуску, без опублікованих ваг. Те, що ми робимо, натомість менш ефектне й легше гарантується: та сама команда дає той самий результат, а кожна зміна має мітку provenance.

Як команда розуміє — ви використовуєте мовну модель?

Ні, і це свідомий вибір. Компілятор — це набір приблизно 22 правил зіставлення на румунський текст, що виконуються в браузері, які створюють типізовані зміни стану. Перевага: це детерміновано, не коштує нічого за запит, не надсилає текст нікуди і може бути перевірене рядок за рядком. Недолік: словник скінченний, і коли запит виходить за його межі, система про це каже замість імпровізувати.

На чому працює голос?

На розпізнаванні мовлення в браузері — `webkitSpeechRecognition`, із зафіксованою мовою `ro-RO`. Практично це означає браузери на двигуні Chromium. В іншому текстова панель робить точно те саме, з тими самими правилами: голос — це зручність, а не залежність.

Чи реальні ціни в комерційній пропозиції?

Ні, і вони позначені як такі навіть у самому заході, який їх відображає: «Дані-фікція позначені — це не комерційна пропозиція». Немає інтеграції з каталогом виробника або з системою цін. В імплементації для клієнта джерелом ціни була б його система, а мітка походження змінилася б із «Демо-каталог» на реальне джерело.

Чи під’єднується до нашого CRM?

Не в цьому build. Конектори з’являються в інтерфейсі з міткою NOT CONNECTED, а контракт інструментів існує, але адаптер постачальника сам повідомляє `NOT_CONNECTED`. Однак уже написана важка частина: вісім типізованих візуальних інструментів, номери ревізії світу, відхилення при застарілій ревізії та ідемпотентні квитанції — тобто саме ті захисти, які потрібні, щоб агент не застосував двічі ту саму дію до стану, що тим часом змінився.

Чи може це використовуватися для чогось іншого, ніж автомобіль?

Так, із налаштуванням, описаним вище: сцена, список дозволених дій і правила мови переписуються для відповідного об’єкта. Повторно використовується архітектура — детермінований компілятор, rail provenance, контракт інструментів і дисципліна ревізії стану.

Ілюстративний приклад

«Відвези нас в Альпи, вночі, під дощем»

Сценарій використання, без даних клієнта чи приписаних комерційних результатів.

Початкова ситуація

Відвідувач промовляє або пише фразу в панелі команд.

Як працює

Текст проходить через правила зіставлення румунською: «alpi» активує альпійське середовище, «noapte» змінює час, «ploa» активує шар дощу. Кожне правило створює окрему подію зі своєю міткою походження, а сцена Three.js відповідно переставляє камеру, туман і колір фону.

Rezultatul

Сцена змінюється одразу, а в бічному рейлі з’являються три записи: «Складене середовище — Творчий / змодельований шар — Альпійський маршрут», «Змодельований час — Творчий / змодельований шар — Нічне освітлення» і «Змодельована погода — Творчий / змодельований шар — Активний шар дощу». Агент відповідає, що застосував 3 зміни і зберіг джерело кожної з них. Жоден запис не видає себе за реальні дані.

Ce este necesar:Un browser cu WebGL. Pentru comandă vocală, un browser pe motor Chromium; altfel bara de text face același lucru.

Можливості співпраці

World Agent, у контексті вашої організації.

Внутрішні потоки та інформація

Підключення авторизованих джерел, організація інформації та перегляд дій командою з окремим доступом за ролями.

Приватні компанії

Ми визначаємо пілот навколо реального процесу: користувачі, дані, інтеграції, витрати та критерії приймання. Розширення відбувається після оцінки результату.

Державні установи та компанії

Визначаємо вимоги до доступності, хостингу, захисту даних та інтероперабельності. Будь-яке з’єднання з послугами AGE або STISC потребує валідації придатності, доступу та схвалень.

Це сценарії адаптації, а не заяви про наявні контракти чи партнерства. Запропоновані функції підтверджуються в межах робочої сфери проєкту.

Обговорити пілот

Частина екосистеми.

Orașe și modele 3D

Relieva

Ми розробляємо 3D-відображення міста, що поєднують рельєф, карти та дані про забудований простір.

Prototip & cercetare

API для моделей ШІ

LongDay

Доступ через API до моделей ШІ єдиним інтерфейсом.

Platformă

Голосові дослідження

Grai

Grai — наш дослідницький напрям у синтезі мовлення і моделях, пристосованих до мов, якими тут говорять.

Cercetare & dezvoltare

Що вам хотілося б налагодити?

Розкажіть про свій процес. Разом визначимо, що варто збудувати, що можна підключити і як перевіримо результат.

Поговорімо