Top

Robots.txt tarafından engellenen url

Celilcan / Robots.txt tarafından engellenen url
Seo soru cevapCategory: Site içi seoRobots.txt tarafından engellenen url
celilcan Staff asked 9 ay ago

Yeni açtığım sitede yaşadığım bir sorunu sizlere yazmak istiyorum. Umarım çözümünü bulabilirsiniz. Ben wodpress üzerine kurduğum sitemde seo eklentisi olarak yoast seo yu kullanıyorum. Site haritası oluşturma eklentisi kullanmıyorum. Yoast ‘ın oluşturduğu site haritasını ( sayfa, yazı, kategoriler ) şeklinde google web yöneticisi araçlarına gönderdim. Bu işlemi yaparken şu adımları izledim.

  • Google web yöneticisi araçlarına giriş yaptım
  • Tarama kısmına geldim
  • Site haritaları bölümüne geldim
  • Site haritası ekleme / test etme bölümüne tıkladım
  • Sırası ile /page-sitemap.xml, /post-sitemap.xml site haritalarını xml uzantılı olarak ekledim
  • Gönderi tıkladım.

Bu işlemleri yapıktan sonra site haritaları menüsünün altında sorunlar bölümünde 1 uyarı, 4 uyarı gibi uyarılar gözüküyor. onları tıklıyorum URL robots.txt tarafından engellendi yazıyor. Açıklama kısmında ise Site haritasında robots.txt tarafından engellenen URL’ler bulunuyor yazmaktadır.

Ayrıca google da site:domain.com şeklinde aratma yaptığım zaman Bu sitenin robots.txt dosyası nedeniyle söz konusu sonuca ilişkin açıklama mevcut değil şeklinde bir açıklama gözüküyor.

Benim size sormak istediğim nerede hata yapıyorum. Site haritasının bu sorununu nasıl çözebilirim. Bu durum sitem açısından google ‘ da çıkmama gibi bir sorun oluşturur mu ? Cevaplarınız için şimdiden teşekkür ederim.

1 Answers
celilcan Staff answered 9 ay ago

Merhabalar,
 
Site haritasında robots.txt tarafından engellenen URL’ler bulunuyor sorunun çözümü için aşağıdaki teknikleri uygulamanızı öneriyoruz. Sorununuz kısa süre içinde çözülecektir.

  • Sitenizde bulunan robots.txt dosyasını silip tekrar boş olarak gönderin. Sonrasında tekrar robots.txt içine şu satırları kopyalayıp tekrar gönderin.
    User-agent: *
    Disallow: /wp-admin/
  • Bu işlemi yaptıktan sonra google web yöneticisi araçlarında robots.txt test aracı bölümüne gelerek dosyayı tekrar test edin. Ve yeniden gönder işlemini yapın. Daha önceki robots.txt dosyası url leri engelliyor olabilir. Siz güncelleme yaptığınız dosyayı tekrar google ın görmesini sağlayın.
  • Sonrasında google web yöneticisi site haritaları bölümünde bulunan site haritalarını silerek tekrar yeniden ekleyin.
  • Site kodları kısmında <meta name=’robots’ content=’noindex,nofollow’ />  satırı var mı yokmu kontrol edin. Bu sitenizin google tarafından indekslenmesini engelleyen kodlardır. Eğer bu kod var ise kaldırım.
  • WordPress yönetim panelinde ayarlar kısmından okunma bölümüne gelin ve orada  Arama motorlarının bu siteyi indekslemelerine engel olmaya çalış kısmının işaretli olmadığına emin olun.

Bu işlemlerden sonra sorununuz çözülmüş olacaktır.