Back to Question Center
0

Semalt pruža savete o tome kako se baviti bocama, paukama i gusarima

1 answers:

Pored stvaranja pretraživača prijateljskih URL-ova, .htaccess datoteka omogućava webmastere blokirati određene boksove da pristupe njihovoj web lokaciji. Jedan od načina blokiranja ovih robota je datoteka robots.txt. Međutim, Ross Barber, Semalt Menadžer za uspeh kupaca, navodi da je video nekoliko popisivača koji ignorišu ovaj zahtev - windows xp obsolete. Jedan od najboljih načina jeste da koristite .htaccess datoteku kako biste ih zaustavili od indeksiranja vašeg sadržaja.

Koje su ove boksove?

Oni su vrsta softvera koji koriste pretraživači za brisanje novog sadržaja sa Interneta radi indeksiranja.

Obavljaju sledeće zadatke:

  • Posjetite web stranice s kojima ste se povezali
  • Proverite HTML kod za greške
  • Sačuvate koje web stranice povezujete i vidite koje web stranice povezuju sa vašim sadržajem
  • Oni indeksiraju vaš sadržaj

Međutim, neki botovi su zlonamerni i pretražujte svoju stranicu za adrese e-pošte i forme koji se obično koriste za slanje neželjenih poruka ili neželjene pošte. Drugi čak i traže sigurnosne rupe u vašem kodu.

Šta je potrebno za blokiranje web pretraživača?

Prije korištenja .htaccess datoteke, potrebno je provjeriti sljedeće stvari:

1. Vaša stranica mora biti pokrenuta na Apache serveru. Danas, čak i one web hosting kompanije polu-pristojne na svom poslu, daju vam pristup potrebnom dokumentu.

2. Trebali biste imati pristup sirovim serverima na vašoj web lokaciji tako da možete da pronađete koje bote su bile u posjeti vašim web stranicama.

Imajte na umu da ne postoji način na koji ćete moći blokirati sve štetne botove, osim ako ih blokirate, čak i one za koje smatrate da su korisne. Novi botovi dolaze svaki dan, a stariji su modifikovani. Najefikasniji način je osigurati vaš kod i otežati bots da vas spamuju.

Identifikovane bote

Bote se mogu identifikovati po IP adresi ili iz njihovog "Stringa korisnika", koje šalju u HTTP zaglavlja. Na primjer, Google koristi "Googlebot."

Možda vam je potrebna ova lista sa 302 bota ako već imate ime bot-a koji želite zadržati uz pomoć .htaccess

Drugi način je da preuzmete sve datoteke dnevnika sa servera i otvorite ih pomoću uređivača teksta.Njihova lokacija na serveru može se promeniti u zavisnosti od konfiguracije vašeg servera.Ako ih ne možete pronaći, potražite pomoć vašeg web hosta

Ako znate koja je stranica posjetila, ili vrijeme posjete, lakše je doći sa neželjenim botom. Možete pretraživati ​​datoteku evidencije pomoću ovih parametara.

Jednom ste primetili koje bote morate blokirati; onda ih možete uključiti u .htaccess datoteku. Imajte na umu da blokiranje bot nije dovoljno za zaustavljanje. Može se vratiti novom IP ili imenom.

Kako ih blokirati

Preuzmite kopiju .htaccess datoteke. Pravite rezervne kopije ako je potrebno.

Metod 1: blokiranje IP-om

Ovaj fragment koda blokira bot koristeći IP adresu 197.0.0.1

Porudžbina odbiti, dozvoliti

Odbija od 197.0.0.1

Prva linija znači da će server blokirati sve zahtjeve koji odgovaraju obrazcima koje ste naveli i dozvoliti svim ostalim.

Druga linija govori serveru da izda 403: zabranjenu stranicu

Metod 2: Blokiranje od Korisnički agenti

Najlakši način je da koristite Apache-ov motor za prepravljanje

RewriteEngine uključeno

RewriteCond% {HTTP_USER_AGENT} BotUserAgent

RewriteRule. - [F, L]

Prva linija osigurava da je modul za prepisivanje omogućen. Druga linija je uslov za koje se primenjuje pravilo. "F" u redu 4 kaže serveru da vrati 403: Zabranjeno dok "L" znači ovo je poslednje pravilo.

Tada ćete otpremati .htaccess datoteku na svoj server i prepisati postojeću. Vremenom će vam trebati ažurirati IP bot bot. Ako napravite grešku, samo otpremite rezervnu kopiju koju ste napravili

November 29, 2017