Задача за премахване на html разширение на уеб страница в адресната лента на браузъра

Скриване на разширението на файла.html. Когато в браузъра се напише http://domain/page.html да се отваря html страницата, но в адреса да се замества с http://domain/page

Специални изисквания за заместване

Ако в една и съща директория има файл /page.html и поддиректория /page/, то потребителя трябва да получава файла, когато напише /page и директорията, когато напише /page/.

Ако в директорията има файл /page.html и /page.pdf (или някакъв друг различен от html), то потребителя трябва да получава /page.html, когато напише /page.

Примери за поведение на пренаписващия скрипт

Използва се следния формат: написва -> зарежда се -> вижда в адресната лента на браузъра

http://domain.com/page.html -> http://domain.com/page.html -> http://domain.com/page

http://domain.com/index -> http://domain.com/index.html -> http://domain.com/

http://domain.com/index.html -> http://domain.com/index.html -> http://domain.com/

http://domain.com/index.txt -> http://domain.com/index.txt -> http://domain.com/index.txt

Ако в главната уеб директория има поддиректория /doc и файл /doc.html, а в директорията doc има два файла err.html и index.html

http://domain.com/doc.html -> http://domain.com/doc.html -> http://domain.com/doc

http://domain.com/doc -> http://domain.com/doc.html -> http://domain.com/doc

http://domain.com/doc/ -> http://domain.com/doc/index.html -> http://domain.com/doc/

http://domain.com/doc/err -> http://domain.com/doc/err.html -> http://domain.com/doc/err

http://domain.com/doc/err.html -> http://domain.com/doc/err.html -> http://domain.com/doc/err

Ако в поддиректорията /doc няма index.html, то при написване на http://domain.com/doc/ ще получи грешка Forbidden.

Решение

Следва кода за файла .htaccess любезно написан, тестван и предоставен за безплатно ползване от ganbox.com

Подобни статии:

1. Приложна магия с mod_rewrite в htaccess Пренаписване на интернет адреси с .htaccess Промяната на интернет адреси...
2. Пренасочване на домейн Пиша тази статия като продължение на  Приложна магия с mod_rewrite...
3. Премахване на грешки в сайт и преминаване към XHTML Тази статия е за често срещани HTML грешки в сайтовете...

Пренасочване на домейн

Както вече писах в статията Често срещани SEO грешки на бизнес сайтове в точка 2. Създаване на огледални сайтове често срещан проблем е повече от един URL адрес да сочи едно и също съдържание. Освен описания случай в статията, много често се случва нова фирма да купи няколко нови домейна като например targovskamarka.com, targovskamarka.net и targovskamarka.org и да ги насочи към едно и също IP и едни и същи файлове. В това число влиза и пренасочване на домейн от тип „Паркиране на домейн“. За избягване на наказание от Гугъл за дублиране на съдържание, идеалният случай е да се определи един от домейните като главен, а другите домейни да пренасочват към главния. Като изключително важно е пренасочването да бъде от тип 301 – permanent redirect. Нека в този пример главен домейн е targovskamarka.com. Дори да са на споделен хостинг трябва всеки от домейните да има различна уеб директория, като главния съдържа файловете, а тези които пренасочват съдържат в главната си уеб директория .htaccess файл като:

Options +FollowSymLinks
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} ^(www\.)?targovskamarka\.(net|org)$ [NC]
RewriteRule ^(.*)$ http://targovskamarka.com/$1 [R=301,L]

Този .htaccess файл поставен в главната уеб директория на домейните които пренасочваш, ще ти помогне дори в случая, когато си направил грешката да размножиш файловете на сайта на няколко различни места. Освен това ще пренасочва не само главната страница, а и вътрешните страници. Например targovskamarka.net/contact.html вече ще сочи към targovskamarka.com/contact.html

Внимание: Тук има един тънък момент. Ако искаш targovskamarka.net/blog/ да бъде пренасочен към targovskamarka.com/blog/ задължително трябва да изтриеш .htaccess файла в директория blog на стария домейн targovskamarka.net. Същото се отнася и за други поддиректории в които има .htaccess файлове.

Преминаване към нов домейн

Както вече сигурно се досети подобен на горния .htaccess файл се ползва и в случаите, когато преместваш сайта си на нов домейн. Например досега си ползвал domain-bg.com и вече притежаваш domain.bg. Новия домейн .bg е по престижен, затова го направи главен, а стария пренасочи към новия. Не е нужно новия домейн да бъде на друг хостинг. Може да го насочиш към същия IP адрес и от cpanel на хостинга да си добавиш новия домейн като addon домейн. Ако нямаш право на повече addon домейни ще трябва да си доплатиш на хостинг доставчика за още един домейн.

Би трябвало при такова пренасочване новият домейн да наследи всички активи на връзките към стария домейн. Все пак те съветвам да промениш на колкото повече места можеш връзките да сочат директно към новия домейн и да не минават през пренасочване. След като копираш файловете на сайта на новата уеб директория и направиш това пренасочване, увери се, че то работи – при написване на стария домейн в браузъра, той трябва да се подмени с новия. Ако всичко работи можеш да изтриеш всички файлове на сайта от старата уеб директория, като оставиш само файла .htaccess – това ще ти спести място на хостинга и ще избегнеш объркване да променяш старите файлове и да се чудиш защо сайта не се променя

Дублиране на съдържание

За търсачките адресите domain.com,  www.domain.com, domain.com/index.html,  www.domain.com/index.html, domain.com/index.php и www.domain.com/index.php са различни адреси. Личното ми мнение е че Гугъл е достатъчно „умен“ и няма да изтълкува това като дублиране на съдържание. По мои наблюдения Гугъл се справя и с още по сложни URI адреси като domain.com/index.php?lang=bg или www.domain.com/?lang_id=2, които също сочат началото на сайта и по-точно българската версия и са точно като страницата domain.com. Въпреки това ако те гони параноя, че Гугъл ще решат друго и се страхуваш от наказание заради дублиране на съдържание, може да използваш следния .htaccess файл.

Options +FollowSymlinks -Indexes
RewriteEngine On
RewriteCond %{THE_REQUEST} /index\.(php|html)\ HTTP/
RewriteRule ^index\.(php|html)$ / [R=301,L]
RewriteCond %{HTTP_HOST} ^www\.domain\.com$ [NC]
RewriteRule ^(.*)$ http://domain.com/$1 [R=301,L]

Нали не е нужно да ти казвам да замениш domain.com с твоя домейн? В този пример като приоритет се задава изписване на домейна като domain.com вместо www.domain.com – по-кратко и по-удобно е. Време е всички да се отървем от досадното „www.“. Ако все пак по някаква странна причина искаш твоя домейн да се изписва само като www.domain.com ще трябва да замениш последните два реда със следните:

RewriteCond %{HTTP_HOST} ^domain.com$ [NC]
RewriteRule ^(.*)$ http://www.domain.com/$1 [R=301,L]

Съвет за уеб разработчиците

Като поставяш в кода връзка към началната страница не пиши „index.php“, а само „/“. Също така добра практика е всичките ти връзки да започват с / например пиши „/contact.php“ вместо „contact.php“. Връзките до картинките да започват с „/images“ вместо „images“ и по същия начин пиши „/css“ и „/js“ вместо само „css“ и „js“.

Поддомейн или директория

Често получавам въпроса blog.domain.com или domain.com/blog? Няма еднозначен отговор, защото зависи каква е целта ти.

1. Използване на поддомейн

Ако искаш новия поддомейн да се разглежда от търсачките като отделен сайт и да излиза в резултатите от търсене като още един резултат, тогава избери варианта с поддомейн. Възможно е поддомейна да задмине основния домейн и да излиза в SERP по-напред. Особено ако основния сайт не се променя толкова често както блога.

Ако до този момент си ползвал поддиректория и искаш вече да ползваш субдомейн. Първото което трябва да направиш е от cpanel да си добавиш поддомейна от Domains -> Subdomains. Нека за този пример поддомейна се казва „sub“. След това добави следния .htaccess:

Options +FollowSymLinks
RewriteEngine On
RewriteRule ^sub(/(.*))?$ http://sub.domain.com/$2 [R=301,L]

Ако случайно няма mod_rewrite може да се осъществи и с mod_dir като замениш последните 2 реда с:

Redirect 301 /sub http://sub.domain.com

2. Използване на поддиректория

Ако искаш да засилиш тежестта на основния домейн тогава избери варианта с директория. Всяка статия в блога ще носи тежест на домейна.

Ако до този момент си ползвал поддомейн и искаш да започнеш да ползваш поддиректория, като например пренасочване на sub.domain.com и www.sub.domain.com към domain.com/sub/, тогава ползвай следния .htaccess файл:

Options +FollowSymLinksRewriteEngine On

# изключение за оправяне на липсваща наклонена черта
RewriteCond %{HTTP_HOST} !^www\.domain\.com$ [NC]
RewriteCond %{HTTP_HOST} ^(www\.)?([^\.]+)\.domain\.com$ [NC]
RewriteCond %{DOCUMENT_ROOT}/%2%{REQUEST_URI}/ -d
RewriteRule [^/]$ %{REQUEST_URI}/ [R=301,L] 

# пренасочване на всички субдомейни към съответни поддиректории
RewriteCond %{ENV:REDIRECT_STATUS} ^$
RewriteCond %{HTTP_HOST} !^www\.domain\.com$ [NC]
RewriteCond %{HTTP_HOST} ^(www\.)?([^\.]+)\.domain\.com$ [NC]
RewriteRule ^(.*)$ /%2/$1 [QSA,L]

Това ще пренасочва на само поддомейна sub, а и всеки поддомейн който имаш към съответната поддиректория. Ако притежаваш собствен DNS сървър, може да използваш горния .htaccess файл за създаване на виртуални поддомейни.

Подобни статии:

1. Премахване на .html от URL адреса с mod_rewrite Тази статия е продължение на статията Приложна магия с mod_rewrite...
2. Приложна магия с mod_rewrite в htaccess Пренаписване на интернет адреси с .htaccess Промяната на интернет адреси...

Промяната на интернет адреси с mod_rewrite се прави основно по следните seo причини:

• съкращаване на адресите: адресите стават за индексиране от търсачките (seo friendly) и лесни за ръчно изписване в браузър
• пренасочване на стари адреси към нови при преименуване на файлове на страници
• ако има страници, които се достъпват с повече от един адрес се пренасочват излишните адреси
• скриване на вида файлове на страниците на сайта

Пренасочванията се извършват от правила зададени във файла .htaccess, който трябва да се намира в главната уеб директория.

Правилата използват регулярни изрази (regular expressions) и могат да бъдат много сложни. В тази статия обаче ще разгледам само най-често ползваните правила от SEO специалистите.

За да работи този файл е нужно уеб сървъра да има инсталиран модул mod_rewrite и в конфигурационния файл /etc/httpd/conf/httpd.conf  трябва да е зададена опцията AllowOverride All

На повечето съвременни хостинг сървъри тези опции са включени по подразбиране, ако това не е така ще трябва да се свържеш със системния администратор на хостинга.

Проверка дали mod_rewrite работи

Постави следните редове в .htaccess файла и опитай да отвориш адреса http://domain.com/test  където domain.com е името на твоя сайт. Ако се отвори сайта ganbox.com това значи всичко е наред и mod_rewrite работи.

Options +FollowSymLinks

RewriteEngine On
RewriteBase /

RewriteRule test http://ganbox.com/? [NC,R,L]

Обикновено файла .htaccess започва със следните няколко реда. За краткост ще бъдат пропускани в примерите долу.

Options +FollowSymLinks -Indexes -MultiViews
RewriteEngine On
RewriteBase /

Просто пренасочване на преименувана страница

Ако страница /about.html е преименувана на /contact.php

redirect 301 /about.html /contact.php

аналогично

RewriteRule ^about\.html$ /contact.php [R=permanent,L]

[L]  казва, че това е последното правило, което трябва да се обработи.

Скриване на вида файлове

Всеки адрес от вида domain.com/страница, като страница може да съдържа малки или главни букви, цифри и знаците „-“ и „_“.

RewriteRule ^([-\w0-9_]+)$ /$1.php [L,NC,QSA]

Пример: при написване на адрес domain.com/форма-за-контакти2 ще бъде потърсена страница /форма-за-контакти2.php

Внимание: ако уеб съръвра е на Windows машина, горния регулярен израз вероятно няма да сработи,заради бъг в win32 mod_rewrite апаче модула.

RewriteRule ^([-А-Яа-яA-Za-z0-9_]+)$ /$1.asp [L,NC,QSA]

Вместо \w или А-Яа-яA-Za-z  използвай АБВГДЕЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЬЮЯабвгдежзийклмнопрстуфхцчшщъьюяA-Za-z

В този пример при написване на адрес domain.com/Условия_За_Ползване ще бъде потърсена страница /Условия_За_Ползване.asp

като в полето за адреси на браузъра ще остане да се вижда http://domain.com/Условия_За_Ползване

Очевидно е, че по този начин няма как да се разбере какви скриптове управляват страниците на сайта. Дори може да се направи страниците да изглеждат като html файлове, а да се изпълняват едноименни php файлове с правилото:

RewriteRule ^([-А-Яа-яA-Za-z0-9_]+)\.html$ /$1.php [QSA,L]

в този случай ако напишеш http://domain.com/clients.html ще бъде потърсен файла /clients.php. Този подход има двоен положителен ефект – от една страна търсачките и от друга сигурност.

Съкращаване на адреси

Много често при SEO оптимизация на динамични сайтове с CMS се налага съкращаване на адреси.

Дълги адреси като този

http://domain.com/index.php?sec=pro&cat=48&category=avto

да изглеждат като този

http://domain.com/sec/pro/cat/48/category/avto

RewriteRule
^sec/([^/]+)/cat/([0-9]+)/category/([^/]+)/?$
/index.php?sec=$1&cat=$2&category=$3 [QSA,L]

Разбира се горното правило се пише на един ред, като между отделните части има по един интервал.

След това в кода се правят промени на всички места, които образуват връзки, за да откриеш всички тези места може да търсиш във всички файлове за http или за href.

Хубавото е, че старите адреси продължават да работят и не е проблем за хората, които са направили Bookmark към стар адрес.

Пренасочване на адреси към един файл

Превод на адреси от вида www.domain.com/contacts към файл index.php, като подава по GET в променлива p името на страницата www.domain.com/index.php?p=contacts

# ако не бъде открит файл
RewriteCond %{SCRIPT_FILENAME} !-f

# ако не бъде открита директория
RewriteCond %{SCRIPT_FILENAME} !-d

# подава низа към файла index.php
RewriteRule ^([^/]+)/?$ /index.php?p=$1 [QSA,L]

По този начин всеки адрес ще се изпраща за обработка към един единствен файл index.php често наричан диспечер (dispatcher).

В този файл се взема подадения низ и се слага в променлива $page. След това се проверява и ако файла със страницата не съществува се преминава към страница с грешка 404.php

$page= isset($_GET['p']) ? $_GET['p'] : 'home';
if(!file_exists(ABS_PATH.$page.'.php')) $page = '404';
include_once(ABS_PATH.$page.'.php');

От съображения за сигурност е много важно преди този код да е дефинирана константата ABS_PATH като в нея има абсолютен път до главната уеб директория например:

define('ABS_PATH', '/home/account/www/');

където account е потребителско име за cpanel на хостинга.

Ако се очаква в адреса на страницата да има само латински букви и тирета, тогава в index.php преди реда с file_exists добави следния ред:

$page = preg_replace('|[^A-Za-z_-]|','',$page);
# премахва всичко различно от буква и знаците _ и -

Премахване на проблем с дублирани адреси

Наскоро имах следния проблем при оптимизиране на динамичен сайт. В навигацията сайта има два бутона за превключване на езика с българското и английското знаме.

Ако текущия адрес е http://domain.com/page.php?id=7

то бутона с английското знаме сочи към http://domain.com/page.php?lang=en&id=7

а бутона с българското знаме към http://domain.com/page.php?lang=bg&id=7

От потребителска гледна точка е удобно защото при смяна на езика оставаш в текущата страница, но от гледна точка на търсачката всяка страница на български има по два адреса.

Дори началната страница има 3 адреса: http://domain.com,  http://domain.com/index.php  и  http://domain.com/index.php?lang=bg

Решение:

# премахване на всички низове index.* от интернет адреса.
# Заб. Изтрий тези две правила ако искаш да инсталираш форум или блог

RewriteCond %{THE_REQUEST} \ /(.+/)?index\.([^/]+)(\?.*)?\  [NC]
RewriteRule ^(.+/)?index\.([^/]+)$ /%1 [NC,R=301,L]

# Правила за премахване на параметър lang=bg като запазва всичко останало в адреса

RewriteCond %{QUERY_STRING} ^(([^&]*&)*)(lang=bg)($|&)(.*)
RewriteRule .* $0?%1%5 [N,E=REMOVED:true]
RewriteCond %{ENV:REMOVED} true
RewriteRule ^ %{REQUEST_URI} [L,R=301]

Внимание: Ако добавиш първите две правила за премахване на index от адресите и в последствие решиш да инсталираш форум, блог или някакъв CMS в поддиректория в същия сайт, се очаква да имаш проблеми и  инсталацията няма да може да се извърши.

Премахване на www.

Пренасочване на  www.domain.com/страница  към domain.com/страница

RewriteCond %{HTTP_HOST} ^www\.(domain\.com)$ [NC]
RewriteRule ^(.*)$ http://%1%{REQUEST_URI} [R=301,L]

Други полезни трикове в .htaccess

Ограничаване на достъпа

по IP адрес

За да забраниш достъпа до сайта от IP адрес 207.246.65.22 в началото на файла напиши

# ban web proxy
Deny from 207.246.65.22

За да забраниш цялата мрежа 64.4.0.0 – 64.4.63.255 на Microsoft и техния MSN Bot напиши

Deny from 64.4.0.0/18

За да забраниш няколко  мрежи в Киев от които в блога вали спам изпращан от различни IP адреси като: 95.133.140.7, 95.133.192.198 и др. напиши:

Deny from 91.124.0.0/16
Deny from 91.195.12.0/23
Deny from 94.178.0.0/15
Deny from 95.132.0.0/14

Има предвид, че така блокираш много хора от Киев. Прецени сам дали очакваш читатели от там.

по тип на търсения файл

Забрана за показване на файлове, които завършват на .txt

<Files ~ "\.txt$">
    Order allow,deny
    Deny from all
</Files>

по вид браузър

Ако имаш директория /old в която има стара версия на сайта, която поддържа архаичния браузър Internet Explorer 6, може да пренасочиш всички заявки от такъв браузър заедно с подадените параметри към тях.

# за браузър IE6 или по-стар пренасочва към /old
RewriteCond %{HTTP_USER_AGENT} MSIE\ [1-6]
RewriteRule !^old(/.*)?$ /old%{REQUEST_URI} [QSA,L]

ограничаване на ботове

Ако забележиш в логовете, че твоя сайт е налазен от ботове може да използваш следния код:

RewriteCond %{HTTP_USER_AGENT} ^$

RewriteRule ^.* - [F]

Това ще блокира всички ботове, които не изпращат USER_AGENT. Няма да се блокират ботовете на търсачките Google, Yahoo и др. Ако някой програмист иска да обхожда твоя сайт с бот, това няма да го спре, защото ще ти подава валиден USER_AGENT. Също добра идея е да не се блокира с Forbbiden, а да се пренасочи към специална страница за ботове.

забрана на достъп до сайт през прокси

Напиши всичките тези правила и ще ограничиш достъпа до сайта от огромно количество свободни уеб прокси сайтове. Много е полезно за сайтове с форуми, където често потребителите си правят втори профил през прокси, за да се представят за друг човек.

RewriteCond %{HTTP:VIA}                 !^$ [OR]

RewriteCond %{HTTP:FORWARDED}           !^$ [OR]

RewriteCond %{HTTP:USERAGENT_VIA}       !^$ [OR]

RewriteCond %{HTTP:X_FORWARDED_FOR}     !^$ [OR]

RewriteCond %{HTTP:PROXY_CONNECTION}    !^$ [OR]

RewriteCond %{HTTP:XPROXY_CONNECTION}   !^$ [OR]

RewriteCond %{HTTP:HTTP_PC_REMOTE_ADDR} !^$ [OR]

RewriteCond %{HTTP:XROXY_CONNECTION}    !^$ [OR]

RewriteCond %{HTTP:X-FORWARDED-FOR}     !^$ [OR]

RewriteCond %{HTTP:FORWARDED-FOR}       !^$ [OR]

RewriteCond %{HTTP:X-FORWARDED}         !^$ [OR]

RewriteCond %{HTTP:HTTP_CLIENT_IP}      !^$

RewriteRule ^(.*)$ - [F]

Сигурност

Много важно! Ако ползваш на твоя сайт едно от следните: картинки против автоматични регистрации (captcha),  smarty темплейти или имаш директория, в която могат да се качват снимки или други файлове. Тогава вероятно тези директории имат повече права за писане в тях. Възможно е хакер да се възползва от тази слабост и да качи в такава директория root shell скрипт, който му дава достъп до файлове, база данни и изпълнение на команди. Пример за такива директории в WordPress са тези в  wp-content/uploads. Много добра идея е в такива директории да поставиш htaccess подобен на следния:

<Files ~ "^.*\.(php|pl|log|bak)">
 Order allow,deny
 Deny from all
 Satisfy All
</Files>

Това забранява достъпа до php и pl файлове качени в тази директория. Допълни в първия ред разделени с | разширенията на всички типове файлове, които не се очаква да присъстват в тази директория. Друг вариант е, ако директорията е само за картинки да изброиш типовете файлове, които се очакват да са в директорията със следния htaccess файл:

RewriteCond %{REQUEST_URI} !(\.(gif|jpe?g|png)$)
RewriteRule .* - [F,L]

Копирай този файл във всички директории за картинки. Сложи този файл в директорията upload на WordPress и той ще защити всички поддиректории, които се създават. В зависимост какви файлове качваш в блога, може да разшириш списъка. При мен е  !(\.(gif|jpe?g|png|zip|doc|xls|xml|html|txt)$) разбира се НЕ трябва да добавяш php иначе се губи смисъла.

Най-добрия вариант е ако може всички подобни директории да бъдат едно ниво нагоре извън главната уеб директория. Така няма да има нужда от htaccess в тях, защото дори хакер да качи файл няма да може да го достъпи през уеб. И освен това всеки път като архивираш проекта на сайта няма да копираш мегабайти излишна временна информация.

Обработка на грешки

Задаване на различни обработчици на възникнали грешки: служебна страница със съобщение , локална страница или файл на друг сървър.

ErrorDocument 403 "Sorry! Access denied!"

ErrorDocument 404 /404.html

ErrorDocument 500 http://drug.domain.com/error

в този пример, ако бъде написан адрес към несъществуваща страница, ще бъде зареден файла /404.html

Продължава в статията Пренасочване на домейн.

© В статията са ползвани материали от forum.modrewrite.com

Подобни статии:

1. Премахване на .html от URL адреса с mod_rewrite Тази статия е продължение на статията Приложна магия с mod_rewrite...
2. Пренасочване на домейн Пиша тази статия като продължение на  Приложна магия с mod_rewrite...
3. Линукс трикове Няколко скрипта за команден ред под Линукс, които ползвам често...