Дослідження геолокаційного впливу на відповіді ChatGPT

Linkyway взяли участь у незалежному дослідженні відповідей ChatGPT. Експеримент присвячений питанню, яке не так давно почало хвилювати фахівців з просування сайтів: чи справді ChatGPT змінює свої відповіді залежно від географічного розташування користувача? І чи є його відповіді повністю геозалежними?

Іноді на абсолютно однакові запити, ChatGPT надає різні відповіді, і ці відмінності, виглядають як ті, що корелюють з географічним положенням користувачів. Саме це спостереження стало каталізатором для проведення масштабного тестування, яке мало на меті розкрити як же формуються відповіді від LLM.

Гіпотеза та методика проведення експерименту

Ми сформулювали робочу гіпотезу, що базувалася на аналогії з традиційними пошуковими системами. Якщо Google, Bing та інші пошукові системи вже давно використовують IP-адреси, мовні налаштування та інші геосигнали для персоналізації результатів пошуку, то логічно припустити, що сучасні мовні моделі можуть застосовувати подібні принципи. Хоча офіційно ChatGPT заперечує цю залежність: 

Але все таки, її складно не відчути:

Запит з залогіненого аккаунту в Одесі

Цікавим для нас було питання: Чи буде ChatGPT рекомендувати різні ресторани користувачу з Лондона порівняно з користувачем з Сіднея, якщо обидва поставлять загальне питання про “найкращі місця для в Токіо” чи щось на кштал того.  Бо при запиті “Найкраща лінкбілдинг агенція” люди з команди, що мешкають в різних куточках світу отримували геть різні відповіді від ChatGPT, і деякі підбірки включали локальні агенції, що працюють в ГЕО того, хто вводив запит. 

Для забезпечення максимальної об’єктивності результатів була розроблена детальна методика тестування. 

1. Команда дослідників використовувала два типи доступу до ChatGPT: авторизовані акаунти з повним функціоналом GPT-5 та GPT-5 Plus, а також інкогніто-сесії з обмеженою версією GPT-4o mini. Такий підхід дозволив порівняти поведінку системи в різних режимах використання.
2. Географічне покриття експерименту охоплювало п’ять англомовних регіонів: Сполучені Штати Америки, Велику Британію, Канаду, Австралію та Нову Зеландію. Вибір саме цих країн був обумовлений необхідністю мінімізувати мовний фактор та зосередитися виключно на географічному впливі. Для кожної локації використовувалися спеціальні проксі-сервери, що забезпечувало достовірність геолокаційних даних.
3. Проведення кожного запиту – в новому діалозі, щоб мінімізувати вплив контексту попередніх розмов на результат. Це важливо, оскільки ChatGPT має здатність “запам’ятовувати” інформацію в межах одного діалогу і може використовувати її для формування подальших відповідей.
4. Всі результати фіксувалися без будь-яких додаткових уточнень. Структура та текст питань залишалися абсолютно незмінними для всіх географічних регіонів. Команда свідомо уникала додавання будь-яких мовних маркерів або регіональних особливостей формулювань, щоб єдиним змінним фактором залишалася саме геолокація.

Система категоризації запитів охоплювала різні сценарії:

• Перша категорія включала очевидно геозалежні запити, де географічний контекст є критично важливим для надання корисної відповіді. Наприклад, питання “recommend me a pizzeria” або “i need limousine service” неможливо вирішити без знання місцезнаходження користувача.
• Друга категорія виявилася значно цікавішою з дослідницької точки зору. Це були потенційно геозалежні запити, де географічний контекст не є очевидним, але може впливати на якість відповіді. Питання “purchase snowboard”, “where to buy wetsuit” або “order curtains” теоретично можуть мати різні відповіді залежно від місцевих особливостей ринку, клімату чи доступності товарів.
• Третя категорія служила своєрідним контрольним тестом. Це були геонезалежні запити з чітко визначеною локацією, наприклад, “best coffee shop in London”, “furniture shop in Manchester” або “emergency plumber in Sydney”. Логічно, такі запити повинні давати схожі результати незалежно від того, звідки їх ставить користувач.

Масштаб тестування був досить великим: кожен запит генерував чотири результати для кожного регіону, що в підсумку давало 20 варіантів відповідей на одне питання. При цьому кожна категорія включала десять унікальних запитань, що в сумі склало тридцять тестових запитів. Усього одна команда отримувала 600 результатів відповідей для аналізу, але команд було декілька. 

Спостереження за поведінкою системи

Як вже писали вище, коли систему запитували безпосередньо: “Чи залежать твої відповіді від геолокації користувача?”, вона заперечувала такий вплив. Проте практичні результати експерименту демонстрували зовсім інше для залогінених акаунтів. Тим часом для інкогніто сесій результати справді здавались такими, шо не включають урахування ГЕО.

Тож, перше спостереження, ми виявили суттєву різницю між поведінкою системи в авторизованому та інкогніто режимах. 

Коли користувачі працювали через свої акаунти, ChatGPT активно використовував доступні дані сесії та історію попередніх діалогів, навіть дані браузера та операційну систему, звичайно мовні маркети, та попередню історію діалогів та специфічні вподобання власника. Це призводило до появи відповідей, часто доповнених картографічними матеріалами в тому числі. Система знала, де знаходиться користувач, і адаптувала свої рекомендації відповідно.

В інкогніто-режимі поведінка кардинально відрізнялася. У більшості випадків система уникала надання геозалежних відповідей і замість цього ставила уточнюючі питання про місцезнаходження користувача. Однак навіть у таких умовах іноді спостерігалися відмінності в результатах, що свідчить про наявність інших механізмів визначення геолокації.

Коли система надавала відповіді з картами, ці матеріали не нагадували звичні Google Maps або Bing Maps. Карти мали унікальний вигляд і стиль, що породжує питання про джерела картографічних даних та алгоритми їх обробки.Це спостереження відкриває цілий напрямок для майбутніх досліджень. Звідки саме ChatGPT отримує картографічну інформацію? Чи використовує він власні бази даних, чи інтегрується з існуючими картографічними сервісами? Ці питання потребують окремого детального аналізу.

Маніпулювання геолокацією. Один із учасників дослідження вирішив перевірити, наскільки гнучкою є система у питанні геолокації. Він попросив ChatGPT відповідати так, ніби він знаходиться в іншому регіоні, ніж його фактичне місцезнаходження. Результати виявилися досить цікавими: система справді намагалася адаптувати свої відповіді під “новий” регіон, хоча ефективність цього підходу варіювалася залежно від типу запиту, але в принці це працює. 

Цей показало, що геолокаційна система ChatGPT має певну гнучкість і може бути частково “переналаштована” за допомогою прямих вказівок користувача. Проте повна надійність такого підходу залишається під питанням, особливо для складних малорозвинутих регіонів, де бізнеси не широко представлені в інтернеті.

Результати відповідей можна переглянути в таблиці: Тести Геозалежності AI видачі 

Ключові висновки дослідження

1. Результати експерименту довели існування геозалежності у відповідях ChatGPT, але з важливими застереженнями. Система справді адаптує свої відповіді залежно від ГЕО користувача, проте це стосується тих запитів, де географічний контекст є релевантним для надання корисної інформації. Для суто інформаційних запитань, що не мають географічної специфіки, місцезнаходження користувача здебільшого не впливає на результат і відповідь є більш загальною. 
2. Для визначення приблизного місцезнаходження користувача система використовує: дані сеансу, історія попередніх діалогів, IP-адреса користувача та навіть мовні маркери, що вказують на місцеперебування. 
3. Навіть без авторизації система іноді може визначити локацію та частково адаптувати відповіді відповідно якщо вважає це необхідним.
4. Якість відповідей для авторизованих користувачів виявилася значно вищою порівняно з інкогніто-режимом. Авторизовані користувачі отримують детальніші карти, конкретніші рекомендації та більш персоналізовані поради. 

Висновки та практичні наслідки

Геозалежність AI-відповідей – це факт.  І так, як ChatGPT та інші AI-системи стають новими “пошуковими системами” –  бізнеси повинні адаптувати свої стратегії просування під цю реальність.

Компанії, що працюють у сфері локальних послуг, мають розглянути можливості оптимізації під AI-алгоритми. Це може включати створення контенту, що легко інтерпретується мовними моделями, та забезпечення присутності у джерелах даних, які використовуються AI-системами.

Але участь у цьому експерименті відкрила перед нами безліч нових питань, що потребують подальшого вивчення. 

Яка динаміка адаптації системи до змін користувацьких преференцій? Звідти підтягуються карти? Наскільки швидко AI-системи реагують на зміни, нові тренди, оновлення бізнес-інформації та виникнення нових термінів? 

Тож ми продовжуємо вивчати AI видачу та, як вона формується і будемо тривати в курсі всіх експериментів!