Back to Question Center
0

Isọmi jẹ Awọn italolobo Lori Bawo ni Lati ṣe pẹlu Awọn Bọọlu, Awọn Spiders Ati Crawlers

1 answers:

Yato si ṣiṣẹda search engine Awọn URL URL ti o dara, faili faili .htaccess jẹ ki awọn aaye ayelujara gba akọọlẹ pato lati wọle si aaye ayelujara wọn. Ọna kan lati dènà awọn roboti yii ni nipasẹ faili robots.txt - max termostato. Sibẹsibẹ, Ross Barber, Semalt Olubasoro Aṣayan Iṣowo, sọ pe o ti ri diẹ ninu awọn crawlers lai fiyesi aṣẹ yi. Ọkan ninu awọn ọna ti o dara julọ ni lati lo faili .htaccess lati da wọn duro lati titọka akoonu rẹ.

Kini awọn abuda wọnyi?

Wọn jẹ ẹyà àìrídìmú kan ti a nlo nipa awọn eroja ti o wa lati ṣafikun akoonu tuntun lati ayelujara fun awọn ipinnu iforọtọ.

Wọn ṣe awọn iṣẹ ṣiṣe wọnyi:

  • Ṣabẹwò awọn aaye ayelujara ti o ti sopọ si
  • Ṣayẹwo koodu HTML rẹ fun awọn aṣiṣe
  • Wọn fi awọn oju-ewe ayelujara ti o n sopọ si ati wo awọn oju ewe oju-iwe ayelujara si ọna asopọ rẹ
  • Wọn ṣe itọkasi akoonu rẹ

Sibẹsibẹ, diẹ ninu awọn ọpa jẹ irira ati ṣawari aaye rẹ fun awọn adirẹsi imeeli ati awọn fọọmu ti a maa n lo lati firanṣẹ awọn ifiranṣẹ ti aifẹ tabi àwúrúju. Awọn ẹlomiiran paapaa n wa fun awọn aabo loopholes ninu koodu rẹ.

Kini o nilo lati dènà awọn ẹja onija wẹẹbu?

Ṣaaju lilo faili .htaccess, o nilo lati ṣayẹwo nkan wọnyi:

1. Aaye rẹ gbọdọ wa ni ṣiṣe lori olupin Apache. Lọwọlọwọ, ani awọn ile-iṣẹ gbigba wẹẹbu naa ni idaji idaji ninu iṣẹ wọn, fun ọ ni wiwọle si faili ti a beere.

2. O yẹ ki o ni iwọle si ọ ni awọn apamọ awọn apin awọn oju-iwe ayelujara ti aaye ayelujara rẹ ki o le wa ohun ti awọn ọpa ti wa ni oju-iwe ayelujara rẹ.

Akiyesi ko si ọna ti o yoo ni anfani lati dènà gbogbo awọn botilẹjẹku ipalara ayafi ti o ba dènà gbogbo wọn, ani awọn ti o ṣe pe o jẹ iranlọwọ. Awọn bọọlu tuntun wa ni gbogbo ọjọ, ati awọn agbalagba ti wa ni atunṣe. Ọna ti o dara julọ julọ ni lati ni aabo koodu rẹ ati lati ṣe ki o ṣòro fun awọn ọpa lati ṣawari fun ọ.

Ṣiṣayẹwo awọn ọlẹ

O le jẹ ki a mọ awọn Bọọlu nipasẹ adiresi IP tabi lati ọdọ "Olutọju Olumulo," eyiti wọn firanṣẹ si awọn akọle HTTP. Fun apeere, Google nlo "Googlebot".

O le nilo akojọ yii pẹlu awọn botini 302 ti o ba ni orukọ ti bot ti o fẹ lati pa kuro nipa lilo .htaccess

Ona miiran ni lati gba gbogbo awọn faili log lati olupin naa ati ṣii wọn nipa lilo oluṣatunkọ ọrọ. Ipo wọn lori olupin le yipada da lori iṣeto ni olupin rẹ Ti o ko ba le rii wọn, wa iranlowo lati ọdọ aaye ayelujara rẹ.

Ti o ba mọ iru oju-iwe ti a ti bẹwo, tabi akoko ijabọ, o rọrun lati wa pẹlu botani ti a kofẹ. O le wa faili log pẹlu awọn ifilelẹ wọnyi.

Lọgan, o ti ṣe akiyesi ohun ti awọn ọpa ti o nilo lati dènà; o le lẹhinna fi wọn sinu faili .htaccess. Jọwọ ṣe akiyesi pe idinamọ botani ko to lati daa duro. O le pada pẹlu IP tabi orukọ titun kan.

Bawo ni lati dènà wọn

Gba ẹda ti faili .htaccess. Ṣe awọn afẹyinti ti o ba beere.

Ọna 1: ìdènà nipasẹ IP

Yi koodu snippet yika awọn bot nipa lilo IP adiresi 197.0.0.1

Bere fun Titan, Gba laaye

Kọ lati 197.0.0.1

Àkọkọ ila tumọ si pe olupin naa yoo dènà gbogbo awọn ibeere ti o baamu awọn ilana ti o ti sọ pato ati ki o gba gbogbo awọn miiran.

Laini keji sọ fun olupin lati fi iwe 403: iwe ti a ni aṣẹ

Ọna 2: Isunmọ nipasẹ awọn aṣoju olumulo

Ọna to rọọrun ni lati lo ẹrọ atunkọ ti Apache

RewriteEngine Lori

Kọ atunkọ% {HTTP_USER_AGENT} BotUserAgent

Atunkọ Kọkọ. - [F, L]

Laini akọkọ n ṣe idaniloju pe module ti a tunkọ ni a ṣiṣẹ. Laini meji jẹ ipo ti ofin naa kan si. Awọn "F" ni ila 4 sọ fun olupin lati pada si 403: Ti dawọ nigbati "L" tumo si pe eyi ni ofin ti o kẹhin .

O yoo ki o si gbe faili faili .htaccess si olupin rẹ ki o tun kọwe tẹlẹ. Pẹlu akoko, iwọ yoo nilo lati mu IP ti bot ká. Ni irú ti o ṣe aṣiṣe kan, kan gbe afẹyinti ti o ṣe.

November 29, 2017