Web Spidering ve Web Crawlers

Örümcekler, veri arayan Web üzerinden "gezinen" programlardır (veya otomatik komut dosyalarıdır). Örümcekler web sitesi URL'lerini dolaşır ve e-posta adresleri gibi web sayfalarından veri çekebilir. Örümcekler ayrıca, web sitelerinde bulunan bilgileri arama motorlarına aktarmak için kullanılır.

Örümcekler, aynı zamanda 'web tarayıcıları' olarak da adlandırılırlar ve Web'de arama yaparlar, hepsi bu kadar kolay değildir.

Spammers Örümcek Websiteleri Bilgi Toplama

Google, Yahoo!

ve diğer arama motorları sadece web sitelerini taramakla ilgilenenler değil - aynı zamanda dolandırıcılar ve spam göndericileri de.

Örümcekler ve diğer otomatik araçlar, spam gönderenler tarafından web sitelerindeki e-posta adreslerini (internette bu uygulamayı sık sık 'hasat etme' olarak adlandırılır) bulmak için kullanır ve daha sonra spam listeleri oluşturmak için bunları kullanır.

Örümcekler ayrıca, arama motorları tarafından web siteniz hakkında daha fazla bilgi bulmak için kullanılan, ancak kontrol edilmeden bırakılan, sitenizi nasıl tarayacağınıza ilişkin talimatlar olmadan bir web sitesi (veya 'izinler') tarafından kullanılan bir araçtır. bilgi güvenliği riskleri. Örümcekler aşağıdaki bağlantıları takip eder ve veritabanlarına, program dosyalarına ve bunlara erişmesini istemeyebileceğiniz diğer bilgilere bağlantılar bulma konusunda oldukça ustalık içindedir.

Web yöneticileri, örümceklerin ve diğer robotların sitelerini hangi ziyarete gittiğini görmek için günlükleri görüntüleyebilir. Bu bilgiler, web yöneticilerine, sitelerini kimlerin indekslediğini ve ne sıklıkta yayınladığını öğrenir.

Bu bilgiler, web yöneticilerinin SEO'larını hassas ayarlamalarına ve robotu güncellemelerine olanak tanıdığı için yararlıdır. txt dosyaları, bazı robotların gelecekte sitelerini taramasını yasaklamak için.

Web Sitenizi İstenmeyen Robot Tarayıcılardan Korumaya Yönelik İpuçları

Web sitenizin istenmeyen tarayıcılarını dışarıda tutmanın oldukça basit bir yolu var. Kötü niyetli örümceklerin sitenizi taramasını düşünmüyor olsanız bile (karmaşık e-posta adresleri sizi birçok tarayıcıdan korumaz) önemli ipuçlarını arama motorlarına sağlamanız gerekir.

Tüm web sitelerinin, bir robots adlı kök dizinde yer alan bir dosyasına sahip olması gerekir. txt dosyası. Bu dosya, arama motorudurlarsa, web tarayıcılarına dizin sayfalarına bakmasını istediğinizi (belirli bir sayfanın meta verilerinde dizine eklenmeyecek şekilde belirtilmelidir) yönlendirmenizi sağlar.

İstediğiniz tarayıcılara göz atmalarını istedikleri gibi, onlara nereye gitmeyeceğini ve hatta belirli tarayıcıları tüm web sitenizden engelleyebileceğini de söyleyebilirsiniz.

İyi bir robot yerleştirmenin akılda tutulmesi önemlidir. txt dosyası arama motorları için muazzam bir değere sahip olacak ve web sitenizin performansını yükseltmede önemli bir unsur olabilir, ancak bazı robot tarayıcıları talimatlarınızı görmezden gelecektir. Bu nedenle, tüm yazılımlarınızı, eklentilerinizi ve uygulamalarınızı her zaman güncel tutmanız önemlidir.

İlgili Makaleler ve Bilgiler

Haince (spam) amaçlarla kullanılan bilgi toplama yaygınlığından ötürü, bazı uygulamaları yasadışı yapmak için yasalar 2003 yılında kabul edildi. Bu tüketici koruma kanunları 2003'ün CAN-SPAM Yasası kapsamına girmektedir.

İşletmeniz herhangi bir toplu posta veya bilgi toplama faaliyetinde bulunursa CAN-SPAM Yasasını okumaya zaman ayırmanız önemlidir.

Aşağıdaki makaleleri okuyarak, spam karşıtı yasalar ve spam göndericiyle nasıl başa çıkılacağı ve bir işletme sahibi olarak ne yapmayacağınız hakkında daha fazla bilgi bulabilirsiniz:

• CAN-SPAM Yasası 2003
• CAN- Kar Amacı Gütmeyen Kuruluşlar için SPAM Yasası Kuralları
• 5 CAN-SPAM Kuralları Küçük İşletme Sahipleri İçin Anlaşılması Gerekenler