SEO öğrenmeye başladıysanız ve bu alanda ilerlemek istiyorsanız karşınıza birçok teknik terim çıkacaktır. SEO’nun daha çok teknik bölümünde yer alan bu terimleri bilmek, iyi bir SEO uzmanı olmak için olmazsa olmazdır. Bugün sizlere teknik SEO’nun bel kemiğinden biri olan robots.txt’i anlatacağım. Başta ismi bile herhangi şey çağrıştırmıyor ya da fazla komplike gözüküyor olabilir. Ama gözünüz korkmasın. Çünkü bu terimi sizlere elimden geldiğince basit ve aynı zamanda ayrıntılarıyla anlatıyor olacağım. Bu metni okuduktan sonra robots.txt’i tüm yönleriyle kavrayacak ve kendi kendinize robots.txt dosyası oluşturmayı öğreneceksiniz. O halde hadi başlayalım!

Robots.txt nedir?

Robots.txt aslında basit bir komut dosyasıdır. Bu komut dosyasıyla birlikte arama motoru botlarının sitenize nasıl erişebeileceğine, içeriklerinizi nasıl tarayacağına ve sitenizin hangi bölümlerinin dizine ekleneceğine siz karar verirsiniz. Arama motoru yazılımları, sitenize geldiğinde öncelikle robots.txt dosyasını tarar ve dosyadaki komutlara göre sitenizin izin verilen sayfalarını dizine ekler. Yani,robots.txt dosyasıyla birlikte sitenizin kontrolü ve sınırları kendi elinizdedir, arama motoru botları da bu sınır dahilinde sitenizi tarayabilir.

Örneğin web sitenizin bazı bölümlerini arama motoru botlarının erişimine kapatmak istiyorsunuz. Bu alanlar bazı kişisel, ya da önemli bilgiler içerebilir ya da indexlenmesini istemeyeceğiniz bir bölüm olabilir. Bu noktada tam olarak ihtiyacınıza cevap veren şey robots.txt dosyası oluyor! Robots.txt dosyası içerdiği komutlarla arama motoru botlarına yön verir. Arama motoru botları da robots.txt’in komutlarına uyar ve sitenizi istediğiniz şekilde tarar.

Sonuç olarak robot.txt dosyası her web sitesi için gerekli bir komut dosyasıdır. Bu noktada dikkat edilmesi  gereken bir konu da robots.txt dosyasının doğru hazırlanmış olması gerektiğidir. Yani herhangi bir robots.txt dosyasının varlığı, istediğiniz şekilde bir tarama yapılacağı anlamına gelmez. Önemli olan, robots.txt dosyasının doğru komutlarla hazırlanmış olmasıdır. Yanlış ve eksik olarak hazırlanmış bir robots.txt dosyası arama motoru botları tarafından dikkate alınmayabilir ve taranmasını istemediğiniz dizinler de taranabilir.

Robots.txt dosyası nasıl çalışır?

Robots.txt dosyasının nasıl çalıştığını anlamak için Google, Yahoo ve Bing gibi arama motoru botlarının nasıl tarama yaptığını anlamak gerekir. Örneğin www.benimsitem.com şu şekilde analiz edilir:

  • http://www.benimsitem.com/robots.txt dosyasını indirip analiz ederek işe başlarlar.
  • Hangi dosyaların indirilmesine izin verildiğini öğrenmek için bu dosyanın (robots.txt) kurallarını analiz ederler.
  • txt buna izin veriyorsa, sitenin kökü, yani http://www.benimsitem.com/ sitesinin URL’sini indirirler.
  • Bu sayfanın içeriğini analiz eder ve içerdiği iç linklerin listesini çıkarırlar.
  • Tüm bu iç bağlantılar sırasıyla indirilir (robots.txt dosyasının kuralları bunları filtrelemezse).
  • Yinelemeli olarak tüm bu bağlantılar, arama motoru robotları yenilerini bulana kadar indirilip analiz edilir.

Sitem için bir robots.txt dosyasına ihtiyacım var mı?

Aslında tüm siteler için bir robots.txt dosyası bulundurma zorunluluğu yoktur. Herhangi bir web sitesinde robots.txt dosyası yoksa arama motorları sitede bulabildiği tüm dizinleri analiz eder.

Sitenizde bir robots.txt dosyasına ihtiyacınız olup olmadığını öğrenmek için kendinize şu basit soruyu sorun: Sitenizde, arama sonuçlarında görmek istemediğiniz güvenli olmayan alanlar var mı? Cevap evetse, o zaman bir robots.txt dosyasına ihtiyacınız var. Aksi halde, bir robots.txt dosyası oluşturmak zorunda değilsiniz.

Robots.txt dosyası nasıl oluşturulur?

 Bir robots.txt dosyası hazırlanırken dikkate alınması gereken 3 temel nokta vardır:

  1. Robots.txt dosyasının site url’siyle aynı formatta olması gerekir. Daha önce http://www.benimsitem.com için http://www.benimsitem.com/robots.txt olduğunu söylemiştik.
  2. Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması gerekir.
  3. Ve son olarak robots.txt dosyasının UTF-8 karakter kodlamasına uygun olması gerekiyor.

Robots.txt dosyası içinde işlemleri gerçekleştirmek için kullanılan komutlar şunlardır:

  • User-agent: Bu komutla sitenize hangi arama robotunun gelebileceğini siz karar verirsiniz. (Örneğin tüm arama motoru robotları, sadece Google ya da sadece Bing) Yine sitenizin arama robotları tarafından hiçbir şekilde taranmasını istemiyorsanız yine bu komutu kullanabilirsiniz.
  • Allow/ Disallow: Dizin engelleme ya da izin verme komutlarını kullanarak sitenizdeki sadece belirli dizinlere erişim izni verebilir ya da istediğiniz sınırlamayı koyabilirsiniz.
  • Crawl-delay: Tarama gecikmesi belirtme komutu olarak da adlandırabileceğimiz bu komutla birlikte arama motorlarının site içinde tarama yaparken harcadığı zamanı sınırlandırabilirsiniz. Bu komut genellikle sunucu hatası yaşayan ve yüksek ziyaretçi sebebiyle zaman zaman hizmet veremeyen siteler tarafından kullanılır.
  • Sitemap komutu: Bir “Site Haritası” yönergesi, sitenin XML Site Haritası adresini belirtir. Sitemap.xml dosyası, sitenizin doğru taranması konusunda arama botlarına en önemli bilgileri verir.

Online robots.txt oluşturma aracı

https://en.ryte.com/free-tools/robots-txt-generator/ ve https://www.seoptimer.com/robots-txt-generator adreslerinden herhangi birine girerek kendi sitenize en uygun robots.txt dosyasını saniyeler içinde oluşturabilirsiniz.

seoptimer robots.txt olusturucu

İşte sizin için örnek olarak düzenlenmiş bir robots.txt dosyası: 

Tüm arama motoru robotları tarafından resimlerin indexlenmesinin engellenmesi:

User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /images/
Allow: /

Bu örnek, robotların sitenizdeki tüm görüntüleri (tüm resimler klasörü, .jpg, .pgn, .gif ile biten her şey) indirmesini önler. Diğer her şeye izin verilir.

Örneğin sitenizde herhangi bir içeriğin taranmasını istemiyorsunuz. O halde Robots.txt dosyanız bunları içeriyor olmalı:

User-agent: Robot adı (Google, Yahoo, Bing)
Disallow: Engellenecek dizin

WordPress için robots.txt örneği

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /attachments/
Disallow: /?attachment_id=*
Disallow: /?replytocom=*

Sitemap: https://www. siteniz .com/sitemap.xml

 

Sonuç olarak Robots.txt dosyasının ne işe yaradığını ve nerelerde kullanılması gerektiğini öğrendik. Daha önceden de belirttiğim üzere her sitenin bir robots.txt dosyasına sahip olması gerekmiyor. Sadece taranmasını istemediğiniz alanlar, ya da önemli bilgilerin olduğunu düşündüğünüz bölümler varsa robots.txt dosyası kullanmak yararlı olacaktır. Arama motoru robotları sitenize ilk geldiğinde ilk olarak varsa robots.txt dosyalarına bakacak ve içindeki komutlara göre hareket edecektir. Bu noktada robots.txt noktasına sahip olmak da istemediğiniz alanların taranmamasına yardımcı olur ve site indexlenmesinde zaman kazanmış olursunuz. Robots.txt sayesinde sitenizin istediğiniz şekilde arama motoru dizinine eklenmesini sağlarsınız.

Beğen & Paylaş :)
  •  
  •  
  •  
  •   
  •   
  •