Last update: 2016-12-16
Блокиране на спам реферали (Referrer spam) в Google Analytics
Какво е реферал спам?
Спам реферали са нежелани имена на домейни, които се показват в статистика на посещенията на твоя сайт в Google Analytics, като сайтове, от които твоя сайт е получил посещения.
Тази статистика се показва в Отчитане -> Придобиване -> Целият трафик -> Източник/Носител
(ако ползваш интерфейс на английски език: Reporting -> Acquisition -> All traffic -> Source/Medium)
Обикновено това са сайтове, които са поставили линк към твоя сайт и когато някой натисне върху линка и посети твоя сайт се отчита посещение от тип реферал трафик.
За съжаление има много сайтове, които не поставят линк, а ползват метод да излъжат Google Analytics брояча на твоя сайт да отчете посещение без реално да е имало такова посещение. Основната им цел е, човекът който преглежда статистиката да се заинтересува и да посети техния сайт. Един вид това е начин за нерегламентирана спам реклама и затова е наречена реферал спам. Най-често подобни сайтове предлагат услуги, като автоматично генериране на фалшив трафик и други нелегални услуги. Има дълъг списък с подобни сайтове, които объркват и изкривяват статистиката на множество сайтове.
Goolge знаят за тази измама, но не вземат никакви мерки за предотвратяването ѝ. За щастие има начин за частично справяне с проблема.
Как да блокирам спам рефералите в статистиката?
Ето един пример как лесно и стъпка по стъпка да блокираме излишния трафик. Примерът е за сайта DobriNovini.com. Заб. Навсякъде трябва да заместиш dobrinovini.com с домейна на твоя сайт!
Метод 1: Изключване на заявки с Host различен от домейна на нашия сайт.
Стъпка 1. Преглед на списъка с домейни подадени в Host. Виж Фигура 2.
Избери от горното меню Отчитане (ако си с английски интерфейс - Reporting).
1. В лявото меню избери Аудитория -> Технологии -> Мрежа (на английски: Audience -> Technology -> Network).
2. Влез горе в таб "Име на хост" (на английски: Hostname).
В таблицата в колона "Име на хост" (или Hostname), ще видиш няколко домейна. На Фигура 2 на втори ред в таблицата се вижда сайт, който е типичен пример за реферал спам.
Заб. Не отваряй този сайт, ще те и пренасочи към друг измамнически сайт. Искаме в този списък да остане само нашия домейн.
Стъпка 2. Създаване на филтър на излишните заявки с Host различен от нашия домейн.
0. Важно! Преди да създадеш някакви филтри е добра идея първо да се създаде резервно копие на изгледа. Виж в края на публикацията как да създадеш резервен изглед в секцията "Създаване на резервно копие на брояча".
1. От главното меню избери Администриране (на английски: Admin). Виж Фигура 3.
Ако управляваш повече от един сайт, започни като го избереш в най-левия падащ списък в колона Профил (на английски: Account), след това в средната колона Собственост (на английски: Property) и накрая избираш сайта в най-дясната колона "Изглед на собственост" (на английски: View).
2. В дясната колона избираш опцията Филтри (на английски: Filters) и ще се отвори нов екран, в който има червен бутон [+ Нов филтър] (на английски: [+ Add Filter]). Натисни този бутон и ще се отвори уеб форма за създаване на филтър на изгледа на сайта.
В тази страница извършваме 6 стъпки. Виж Фигура 4.
1. В полето "Име на филтъра" (на английски: Filter Name) въвеждаме някакво име, което ще ни подсказва за какво е този филтър. Например "Include Hostname".
2. В "Тип на филтъра" избираме таб Персонализиран. На английски името на полето е "Filter Type" и се избира таб Custom.
3. След това избираме опция Включва. На английски опцията има име Include.
4. В "Поле на филтъра" избираме "Име на хост". На английски полето се казва "Filter Field" и се избира Hostname.
5. В полето "Образец за филтриране" (на английски: Filter Pattern) въвеждаш своя домейн, като пред точката се слага обратно наклонена черта. В този пример домейна е dobrinovini.com, затова в полето се въвежда
dobrinovini\.com$
ВАЖНО! Ако допуснеш грешка в тази стъпка е възможно да загубиш значителна част от статистиката!
Възможно е в Стъпка 1 се вижда освен основния домейн и поддомейни, като например www.dobrinovini.com, blog.dobrinovini.com... тогава не е нужно да се добавят, защото те се покриват от следния израз: dobrinovini\.com където dobrinovini.com заместваш с твоя домейн.
Може да добавяте още валидни домейни, като ги разделяте с | без да има интервали и пред всяка точка и тире се поставя знак \ Максимална дължина на израза 255 символа.
Не добавяйте домени като: google.com, cnn.com, lifehacker.com, foxnews.com, apple.com и др. до които нямате достъп.
6. Накрая долу се натиска синия бутон [Запазване] (на английски: [Save]).
Как работи и дали е надежден този метод за ограничаване на реферал спам трафика?
Филтрираме целия трафик, който в полето Host на HTTP заявката има нещо различно от домейна на нашия сайт.
Този метод е доста надежден, защото обикновено спамерите не попълват полето Host, когато правят заявки към брояча или го попълват с някакъв произволно създаден домейн.
Този метод ще филтрира голяма част от излишния трафик, който обърква статистиката на сайта ни, но може да не сработи за по хитрите спамери, които специално са се погрижили да слагат в полето Host на заявката домейна на нашия сайт. Затова може да продължиш с допълнителни мерки със следващият метод, за изрично изключване на най-досадните спамерски сайтове.
Метод 2: Изключване на най-често срещаните спам домейни.
Стъпка 1. Преглед на спам домейните, които влизат в статистиката, като referral spam трафик.
1. От главното меню избери Отчитане (ако си с английски интерфейс - Reporting). Виж Фигура 1.
2. От лявото меню избери Отчитане -> Придобиване -> Целият трафик -> Източник/Носител
(ако ползваш интерфейс на английски език: Reporting -> Acquisition -> All traffic -> Source/Medium)
Не е очевидно кои от тези домейни са спамерски, но обикновено това са сайтове с много отчетени посещение, за които сме сигурни, че няма поставен линк към нашия сайт.
В показания пример на Фигура 1 се вижда такъв на ред 6.
Стъпка 2. Съдаване на филтър за изключване на избрани от нас спам реферали.
По подобен начин към същият "Изглед на собственост" (View) показан на Фигура 3, можем да добавим още един филтър.
Разликата е, че този път в страницата с червен бутон за създаване на нов филтър ще видим табличка, в която ще се вижда вече създаденият по-горе филтър с име "Include Hostname".
След натискане на бутона [+ Нов филтър] (на английски: [+ Add Filter]) се отваря страница с уеб форма за създаване на филтър.
В тази страница извършваме 6 стъпки. Виж Фигура 5.
1. В полето "Име на филтъра" (на английски: Filter Name) въвеждаме някакво име, което ще ни подсказва за какво е този филтър. Например "Exclude Referral Domains".
2. В "Тип на филтъра" избираме таб Персонализиран. На английски името на полето е "Filter Type" и се избира таб Custom.
3. След това избираме опция Изключва. На английски опцията има име Exclude.
4. В "Поле на филтъра" избираме "Източник на кампанията". На английски полето се казва "Filter Field" и се избира "Campaign Source". Заб. Не се избира Referral ! 😉
5. В полето "Образец за филтриране" (на английски: Filter Pattern) се въвежда списък със спамерски домейни, които са разделени с отвесна черта "|" и пред всяка точка има обратно наклонена черта "\".
В този пример въвеждаме 4 домейна: "trafficmonetize\.org|webmonetizer\.net|4webmasters\.org|100dollars-seo\.com". Полето е ограничено от Google до 255 символа и може да се наложи създаване на повече от един филтър.
6. Накрая долу се натиска синия бутон [Запазване] (на английски: [Save]).
По всяко време може да променяш филтъра и да добавяш още домейни в края, като първо се добави отвесна черта "|" и после новия домейн с черта \ пред точката (ако има средно тире "-" пред него също се слага знак "\").
В страница https://ganbox.com/refspam.html има списък с най-често срещани спам домейни.
Ето няколко примерни регулярни изрази за полето "Образец за филтриране" (на английски: Filter Pattern), които покриват повечето спамерски домейни:
.*((darodar|priceg|buttons\-for(\-your)?\-website|makemoneyonline|blackhatworth|hulfingtonpost|o\-o\-.\-o\-o|(social|(simple|free)\-share)\-buttons)\.com|econom\.co|ilovevitaly(\.co(m)?)|(ilovevitaly(\.ru))|(humanorightswatch|guardlink)\.org).*
.*((best(websitesawards|\-seo\-(solution|offer))|Get\-Free\-Traffic\-Now|googlsucks|theguardlan|webmaster\-traffic)\.com|(domination|torture)\.ml|((rapidgator\-)?(general)?porn(hub(\-)?forum)?|4webmasters)\.(ga|tk|org|uni)|(buy\-cheap\-online)\.info).*
.*((event\-tracking|semalt(media)?|100dollars\-seo)\.com|trafficmonetize\.org).*
(best|dollar|success|top1)\-seo|(videos|buttons)\-for|anticrawler|^scripted\.|semalt|forum69|7makemon|sharebutton|ranksonic|sitevaluation|dailyrank|vitaly|profit\.xyz|rankings\-|dbutton|uptime(bot|check|\.com)
datract|hacĸer|ɢoogl|responsive\-test|dogsrun|tkpass|free\-video|keywords\-monitoring|pr\-cy\.ru|fix\-website|checkpagerank|seo\-2\-0\.|platezhka|timer4web|share\-buttons|99seo|3\-letter
За всеки от тях се създава отделен филтър, заради ограничение от 255 символа на полето.
Стъпка 3. Съдаване на филтър за спам реферали с променен language параметър.
Тази стъпка не е задължителна. Би трявало горните два филтъра успешно да хванат повечето спам трафик, но ако това не стане, може да добавите още един филтър.
Създава се по абсолютно същия начин като филтъра на Стъпка 2, но в точка 1. въвеждаме име на филтъра "Exclude Lang Filter", в точка 4. в полето "Източник на кампанията" (на английски полето се казва "Filter Field") се избира "Language Settings" вж. фиг.6.
В точка 5. в полето "Образец за филтриране" (на английски: Filter Pattern) се въвежда следния регулярен израз:
.{12,}|\s[^s]*\s|\.|,|\!|\/|\?
Той ще филтрира всички посещения, които не подават валиден език подобен на: en-us, en-uk, es и т.н. Най-често спамерите ползват това поле да въведат някакво дълго спам съобщение. Този филтър е специално за тях и няма да сработи за други видове спам.
Как работи и дали е надежден този метод за блокиране на referral спам трафика?
При този метод изрично посочваме домейни на сайтове, от които не желаем в статистиката да влизат referral посещения.
Неудобството е, че постоянно се появяват нови подобни спамерски сайтове и може да се наложи периодично да се обновява филтъра. За щастие в комбинация с горния метод, степента на успех и доста висока.
Допълнителна опция е да включите Филтриране на ботове (Bot Filtering - Exclude all hits from known bots and spiders), която се намира в Настройки на изглед (View settings).
Обобщение за почистване на Google Analytics трафика
Няма на 100% сигурен метод са решаване на проблема към момента на писане на тази публикация, но прилагането на двата филтъра е най-доброто към този момент.
Важно е да се отбележи, че и при двата метода, натрупаният вече реферал спам трафик няма да изчезне изведнъж, а трябва да мине време и да се съберат нови посещения с изключен спам трафик.
Един алтернативен метод, който може да се приложи за много сайтове наведнъж в един акаунт може да видиш във видеото: https://www.youtube.com/watch?v=A6puAh7qsHs
И още един метод с използване на сегмент, който освен това решава проблема за статистиката назад във времето на адрес: https://www.youtube.com/watch?v=7072LuB43-E
Почистването на статистиката назад се разглежда и в трета точка на публикацията https://www.ohow.co/ultimate-guide-to-removing-irrelevant-traffic-in-google-analytics/
Опити да бъде ограничен referral spam, чрез .htaccess или друго блокиране на хостове на сървъра на хостинга на твоя сайт са безсмислени, заради начина, по който работи referral spam. На Фигура 6 се вижда опростена схема, как работи Google Analytics брояча.
Начин на работа на Google Analytics брояча
Когато посетител на нашия сайт иска да зареди страница от сайта, той прави заявка към уеб сървъра на сайта ни (1) и уеб сървърът връща HTML отговор (2), който съдържа JavaScript код на Google Analytics брояча, който сe изпълнява при клиента (в браузъра на посетителя), при което се прави обръщение към сървъра на Google Analytics, за да се отчете посещението в Google Analytics брояча ни. Сравнително лесно е за спамерите да имитират заявка (3) директно към сървъра на Google Analytics, при което замърсяват статистиката ни без изобщо да посещават сайта. Този тип спам се нарича Ghost referrals. При този метод се подава фиктивен hostname различен от нашия домейн или ако не е подаден се отчита като not set.
Създаване на резервно копие на брояча в Google Analytics
Добра идея е, за всеки случай да създадеш още един вариант на "Изглед на собственост" (на английски: View), в което да няма филтри. Може да има име "Domain.com Raw Data", (където Domain.com е името на твоя сайт). Там ще се събира статистика за посещенията заедно със спам трафика и ще може да се гледат данни, ако по невнимание си направил грешка при създаването на филтрите.
За създаване на резервно View на брояча се влиза в администрацията, както е показано на Фигура 3, но вместо избор на филтър от падащия списък най-горе на дясната колона, се избира първата опция "Настройки на изглед" (на английски: "View settings"). След това горе вдясно има бутон [Copy view]. Въвежда се име на новия изглед (например Raw Data) и се записва. Това действие се прави преди да са създадени някакви филтри.
Защо спирането на реферал спам трафика е важно за SEO?
За сайтове с малко посещения, трафикът от реферал спамери става един значителен процент от общия трафик и силно изкривява статистиката, което може да ни заблуди, че сайтът се развива по-добре от реалното. Освен, че обърква статистиката, този трафик силно влияе на важни SEO показатели като Bounce Rate (степен на отпадане) и време прекарано в сайта. SEO метрики, които започват да стават все по-важни за общото класиране на сайта по ключови фрази. По този начин реферал трафика индиректно влошава SEO показателите на сайта и дългосрочно води до понижаване на сайта в класирането на Google. Силно препоръчвам да се вземат превантивни мерки, а не да се чака сайта да пострада от реферал спам трафик.
Услуга за настройване на Google Analytics.
Ако горните инструкции ви се струват прекалено сложни и се притеснявате, че може да допуснете грешка, която ще доведе до загуба на трафик в брояча, може да поръчате от нас услуга за извършване на всички нужни настройки в Google Analytics.
Благодарности
Ползвани са материали от: http://blog.analytics-toolkit.com/2015/guide-referrer-spam-google-analytics/
https://www.ohow.co/ultimate-guide-to-removing-irrelevant-traffic-in-google-analytics/
Много благодаря за изключително полезната статия! Винаги успявам да науча по нещо ново, когато чета дадена статия в блога 🙂
Поздрави!
При въвеждане на даден домейн, изключват ли се поддомейните към него или всеки поддомейн трябва да се добави като отделен URL?
Включват се и поддомейните. По-точно Google са го направили така, че се включва всичко което съдържа думата. Например ако напишем само ganbox във филтъра, това покрива: www.ganbox.com ganbox.com ganbox.bg ganbox.net