Экспертиза · Цифровой консалтинг
Диагностика на реальных системах, а не на интервью: мы читаем код, измеряем продакшен командами, которые вы можете повторить, и требуем первичный документ для каждого утверждения. Результат — список решений с указанием, кто принимает каждое, а не презентация.
Уже построеноМетод был полностью применён к нам самим, и результаты находятся в репозитории, с файлом и строкой. Три конкретных результата: реестр операций по обработке данных, проверенный построчно на продакшене, с тем, что не удалось подтвердить, отмеченным как «непроверено», и восемью пунктами, прямо оставленными на усмотрение владельца; аудит доступности и производительности, который с самого начала заявляет, что НЕ смог измерить, с пятью перечисленными ограничениями, и не заявляет ни об одном уровне соответствия; и реестр доказательств для публичных утверждений, который убрал три несуществующие награды, ходившие между внутренними документами, без того чтобы кто-то попросил оригинал. Специализированная консультация по внедрению AI и обучению команд имеет отдельную страницу и дополняет её, а не дублирует.
Самые дорогие технические решения не принимаются на ложной информации. Их принимают на информации, которая была правдой восемнадцать месяцев назад. Внутренний документ берет цифру из другого, третий цитирует второй, и цепочка рвется именно там, где никто не запросил оригинал. Поэтому первая часть нашей работы — не стратегия, а проверка.
Мы применили метод к себе до того, как предлагать его. Мы построили реестр доказательств для каждого публичного утверждения на собственном сайте, с правилом, что у утверждения должна быть строка с первичным документом, а не с документом, который его повторяет. Результат: три награды, которые мы показывали, не существовали — соответствующие программы не существуют или не имели заявленного выпуска. Зато одна реальная награда, которую публичное исследование не могло подтвердить за два часа, была выяснена за минуту с помощью оригинального письма. В этом и есть разница между поиском и запросом оригинала.
Вторая часть — измерение, с командами, которые может повторить любой. Мы обнаружили, что на тридцати страницах нашего сайта было по 105 слов, из которых 104 были одинаковыми — единственным собственным словом каждой страницы было имя домена. Это не было выводом из мнения о бедном содержании, а стало результатом сравнения множеств слов на корпусе страниц, извлеченных из продакшена. Такая цифра закрывает дискуссию, которая иначе длится месяцами.
Третья часть — то, что мы делаем с результатом. Мы не сдаем презентацию с рекомендациями, а даем список решений, у каждого — кто его принимает. В собственном реестре восемь пунктов остались явно в ведении владельца — от реального существования публично заявленного адреса электронной почты до согласования двух противоречивых позиций, которые мы публиковали в разных местах. Консультант, который бы «решил» их сам, произвел бы более красивый документ и такую же уязвимую организацию.
Что входит
Реестр с одним утверждением в строке: первичный документ, дата, где он находится, можно ли его публиковать. Документ, который повторяет утверждение, не считается источником. Примененный к нам, реестр исключил три несуществующие награды и подтвердил три реальные, из которых одну — через оригинальное письмо, найденное в архиве, — частный источник, который можно показать по запросу и который никакой публичный поиск не мог бы выдать.
Команды проверки входят в результат, чтобы любой мог повторить их без нас. Когда документ и измерение не совпадают, правo измерение: при подготовке этой работы мы нашли собственный документ, который утверждал, что файл примерно на 16% меньше, чем был на самом деле, и схему инфраструктуры, описывающую сервер, с которого мы уже переехали.
В собственном аудите доступности и производительности раздел с ограничениями идет перед результатами и перечисляет пять вещей: показатели рендеринга, которые инструмент не раскрывал, активацию с клавиатуры, которую автоматизация не могла воспроизвести точно, отсутствие тестов со скринридерами, невозможность эмулировать предпочтение уменьшения движения и отсутствие полевых данных. Выведенные выводы помечены как выводы, а не как наблюдения.
Этот же аудит не содержит ни одного заявленного уровня соответствия, потому что полноценный аудит требует тестирования с реальными скринридерами, на реальных устройствах, с пользователями — ничего из этого не было сделано. В нем есть отдельные замечания, каждое с соответствующим критерием, расположенные так, чтобы можно было приоритизировать работу. Три блокера, остальное — улучшения.
Технический факт из собственного кода: публикуем, с строкой. Реальное состояние проекта: публикуем, с реальной причиной, а не с эвфемизмом. Коммерческий результат — клиенты, проценты улучшения, объемы: непубликуем без измерения и согласия клиента. Сравнение типа «первый» или «лучший»: непубликуемо без критерия и даты. Эта сетка применяется до того, как вы пишете строку, а не на корректуре.
Опубликованная политика и реализация не должны расходиться, а расхождение трудно увидеть изнутри. Примеры из собственного аудита: страница обещала анонимизацию IP-адреса, а код отправлял его целиком в уведомлении; публично заявленный срок хранения не применялся ничем. Вытекающее правило: если изменение кода меняет то, что собирается, куда попадает или как долго хранится, опубликованный текст меняется в тот же момент.
Хороший пилот имеет четкий вход, четкий выход, числовой критерий, решенный заранее, и путь остановки, который не стоит денег. Мы явно пишем, что системе нельзя делать и как она передает человеку. Если из диагностики следует, что правильный ответ — «не стройте это сейчас», мы пишем это так же явно — это самая дешевая возможная поставка.
Отчет, который не доходит ни до кого, эквивалентен отчету, которого не существует. В собственной системе ежедневный отчет был мертв одиннадцать дней, в то время как запланированная задача срабатывала правильно — используемая команда молча завершалась с ошибкой. Мы отдельно смотрим на этот класс дефекта, потому что он не появляется ни в одном списке требований и не вызывает ни одной тревоги.
Каждый нерешенный пункт получает строку: что это, почему это важно, кто принимает решение. В собственном реестре осталось восемь таких пунктов. Консультация, которая решает их сама, производит более гладкий документ и такую же уязвимую организацию.
Как это выглядит
Все, что вы публично или внутренне заявляете о возможностях, результатах, партнерах и сертификатах, попадает в список. По каждому мы просим первичный документ. Мы передаем: реестр с подтвержденными заявлениями, опровергнутыми и оставшимися без источника, с рекомендацией по каждому.
Работа производства проверяется напрямую — заголовки, времена, содержание, поведение на границах — а код читается. Мы передаем: измерения с точной командой рядом, плюс список мест, где документация и реальность не совпадают.
Ограничения метода входят в отчет до выводов. Мы поставляем: список того, что не удалось измерить и почему, плюс что потребуется, чтобы это стало возможным — инструмент, доступ или авторизация.
Наблюдения упорядочиваются по эффекту и стоимости устранения, а блокирующие отдельно подсчитываются. Мы поставляем: упорядоченный список, с указанием, что именно устраняет каждый пункт и как проверяется устранение.
Один маршрут, один заранее решенный числовой критерий, один путь остановки. Мы поставляем: определение пилота, критерий принятия и список оставшихся решений, каждое с именем того, кто его принимает.
Данные
Вопросы, которые задаёт всякий, у кого есть ответственный за защиту данных, — заданы здесь раньше, чем их задаст он.
Случай
Ситуация
Сайт-визитка показывал несколько отличий. Никто их не ставил под сомнение: они появлялись во внутренних материалах, в презентациях и в текстах на страницах, а каждый документ, казалось, опирался на другой.
Что мы построили
Мы собрали реестр с одним утверждением в строке и одним требованием: первичный документ, а не документ, который повторяет утверждение. Для каждого отличия мы искали оригинальный источник — объявление организатора, статью в прессе на дату события, прямое сообщение от того, кто его присудил.
Что получилось
У трёх отличий не было никакого источника: упоминаемые программы не существовали или у них не было того выпуска. Их убрали. Три были реальными и остались, со своими публичными источниками. Четвёртое, которое публичный поиск не мог подтвердить за два часа, прояснилось за минуту оригинальным письмом от того, кто его присудил, — частным источником, который можно показать по запросу, потому что организатор не публикует список победителей для этого формата. Появились и утверждения вроде числа клиентов или лет прибыльности, оставшиеся без подтверждения; их пометили как непубликуемые до проверки по данным компании.
Чего этот случай не говорит
Цепочка не оборвалась из-за намеренного вымысла. Один документ перенял сведения от другого, а третий сослался на второй как на источник — всё оборвалось именно там, где никто не запросил оригинал. Поэтому реестр полезен только при постоянном обновлении: при первом новом утверждении, добавленном без строки в реестре, процесс начинается заново.
Вопросы
Другая страница — об внедрении AI в команду: анализе повторяющихся процессов, воркшопах на реальных примерах и пилоте, построенном вместе. Эта — о диагностике и решении, независимо от того, подразумевает ответ AI или нет. Они дополняют друг друга: диагностика может показать, что проблема не в отсутствии ассистента, а в том, что контактная форма теряет обращения. Начать можно с любой — но если вы не уверены, что именно болит, начните с диагностики.
Неловкие вещи, опубликованные как есть. Три показываемые награды, которых не существовало, потому что один внутренний документ переписал их с другого, не запрашивая оригинал. Контактная форма возвращала 500 и теряла обращения без следа, потому что у канала уведомлений была отозвана авторизация, и никто не проверял. Маршрут, который мог инициировать телефонный звонок на любой номер, анонимно. Страница обещала анонимизацию IP-адреса, а код отправлял его целиком. И тридцать страниц, у которых 104 из 105 слов были одинаковыми.
Потому что deliverable содержит команды, а не только выводы. Утверждение, которое клиент может проверить сам с помощью команды из отчёта, не может быть угодливым — оно оказывается ложным при первом запуске. А когда мы не можем что-то проверить, мы пишем «неверифицировано», и это корректный вывод. Мы использовали его восемь раз в собственном реестре.
Да, и это самая дешёвая поставка, которую мы можем сделать. Пример из собственной работы: у нас был план перенаправить 73 сгенерированные страницы на страницы, считающиеся «основными». Измерение показало, что страницы-назначения сами по себе были тонкими — 105 слов, из которых 104 общие. Вывод был не «перенаправляем быстрее», а «не перенаправляем тонкий контент в ещё более тонкий; сначала исправляется назначение». Перенаправление было обусловлено переписыванием назначения.
Мы говорим, что можно заключить без них, а что нет. В собственном аудите контента у нас не было доступа к консоли поиска, аналитике или данным продаж — поэтому мы не заявляли о трафике, конверсии или замеченной каннибализации, хотя именно это были бы самые убедительные выводы. Правильная последовательность осталась записанной в отчёте: сначала данные, потом решение, а не наоборот.
Мы даём отчёт с одним выводом в строке, командами для проверки и списком решений с владельцем. Если вам нужна и презентация для совещания, мы её сделаем — но это не deliverable, а его краткое изложение. Разница важна, потому что презентацию нельзя проверить, а отчёт с командами — можно.
Настолько, насколько нужно, чтобы утверждения в отчёте имели файл и строку. На практике это значит читать маршруты по одному и спрашивать для каждого, кто его вызывает и что он делает, когда проверка не может решить. Автоматический инструмент видит маршрут, который возвращает ошибку на пустой запрос, и идёт дальше; при чтении видно, что его уже никто не вызывает и что он открыт.
Нет. Мы не являемся аккредитованными аудиторами, не выдаём сертификаты и не подписываем аттестаты соответствия. То, что мы поставляем, — это технический анализ с проверяемыми доказательствами, полезный для принятия решения и устранения проблем — не для выполнения формального требования, которое требует аккредитованного органа. Если вам нужно именно это, лучше узнать об этом сейчас.
Он не строит прогнозы выручки или трафика — у нас нет для этого базы, и мы их не выдумываем. Он не сравнивает поставщиков на основе цифр, опубликованных ими самими; если мы сами не проводили измерение, мы пишем, что это заявленная цифра, а не измеренная. Он не принимает коммерческие решения вместо вас. И он не создаёт документ, который выглядит полным, осторожными формулировками закрывая места, где мы не знаем — расплывчатый аудит это форма ничего не сказать.
18 из них — код и файлы из наших репозиториев. Мы не публикуем их название и строку: вместе, на одной странице, они слишком точно описали бы, как устроены системы, которые принадлежат не только нам. Мы разбираем их вместе с тобой, в репозитории, по запросу — проверка остаётся возможной, просто она проходит в разговоре.
Расскажите о своём процессе. Вместе определим, что стоит построить, что можно подключить и как проверим результат.