워드프레스 – safarizone

웹사이트 빙(Bing) 검색 노출, 왜 안될까? robots.txt 파일 완벽 분석 및 SEO 설정 가이드

갑자기 내 웹사이트가 빙(Bing) 검색 결과에 제대로 나타나지 않는다면 당황스러울 수 있습니다. 구글과 더불어 주요 검색 엔진인 빙에서의 노출은 웹사이트 트래픽과 가시성에 큰 영향을 미치는데요. 빙 로봇(Bingbot)이 내 사이트를 제대로 크롤링하고 색인하지 못하고 있다면, 그 원인은 의외로 간단한 파일 하나에 있을 수 있습니다. 바로 robots.txt 파일입니다.

최근 한 사용자분께서 겪으신 상황을 통해 robots.txt 파일의 중요성을 알아보고, 빙 로봇의 접근을 허용하며 SEO에 최적화된 robots.txt 설정 방법을 자세히 알려드리겠습니다.

`robots.txt` 파일, Bing 봇 차단은 없었다!

사용자분께서 제공해주신 robots.txt 파일 내용을 면밀히 분석했습니다. 그 결과, Bing 봇을 명시적으로 차단하는 명령어는 어디에도 없었습니다. 오히려 User-agent: Bingbot 아래 Allow: / 지시문이 명확하게 명시되어 있어, 빙 봇의 웹사이트 접근이 허용되어 있음을 알 수 있었습니다.

그렇다면 빙 로봇이 접근하지 못하는 이유는 무엇일까요? robots.txt 파일의 직접적인 차단이 아니라면, 웹호스팅 업체의 방화벽 설정, CDN(콘텐츠 전송 네트워크) 설정, 또는 워드프레스 보안 플러그인 등 다른 요인을 의심해봐야 합니다. 하지만 이 글에서는 robots.txt 파일 자체를 SEO에 맞게 최적화하는 데 집중하겠습니다.

SEO에 최적화된 `robots.txt` 파일 만들기

제공해주신 robots.txt 파일은 다소 중복되고 비효율적인 부분이 있었습니다. 이를 깔끔하게 정리하고, 빙을 포함한 주요 검색 엔진들이 웹사이트를 효율적으로 크롤링하고 색인할 수 있도록 SEO 친화적인 구성으로 재탄생시켰습니다.

아래는 권장하는 robots.txt 파일의 형태입니다. 여러분의 웹사이트에 맞게 Sitemap 부분만 수정하여 사용하시면 됩니다.

# User-agent: *
# 모든 검색 엔진 봇에 적용되는 일반 규칙입니다.
User-agent: *
Allow: /
# 워드프레스 관리자 페이지는 검색 엔진이 색인할 필요가 없으므로 차단합니다.
Disallow: /wp-admin/
# 그러나 워드프레스 AJAX 스크립트는 기능상 필요하므로 예외적으로 허용합니다.
Allow: /wp-admin/admin-ajax.php
# 사이트 내 검색 결과 페이지는 중복 콘텐츠로 간주될 수 있어 차단하는 것이 좋습니다.
Disallow: /?s=
# WordPress 미리보기 URL (일반적으로 /?p= 로 시작)도 차단하는 것이 좋습니다.
Disallow: /*?p=*
# 태그, 카테고리 피드 등 불필요한 아카이브도 차단할 수 있습니다.
# Disallow: /tag/
# Disallow: /category/
# Disallow: /feed/
# Disallow: /comments/feed/
# Disallow: /trackback/
# Disallow: /wp-content/plugins/
# Disallow: /wp-content/themes/

# 특정 봇에 대한 개별 규칙 (일반 규칙보다 우선합니다)
# Bing 봇은 명시적으로 모든 접근을 허용합니다.
User-agent: Bingbot
Allow: /

# Bing 미리보기 봇도 허용합니다.
User-agent: BingPreview
Allow: /

# Yahoo! 검색 봇(Slurp)도 허용합니다.
User-agent: Slurp
Allow: /

# MJ12bot은 사이트 부하를 유발할 수 있어 일반적으로 차단합니다.
User-agent: MJ12bot
Disallow: /

# OpenAI의 GPTBot도 허용합니다.
User-agent: GPTBot
Allow: /

# Apple 봇도 허용합니다.
User-agent: Applebot
Allow: /

# Yandex 봇도 허용합니다.
User-agent: Yandex
Allow: /

# Google 관련 봇들은 명시적으로 허용합니다.
User-agent: Googlebot
Allow: /

User-agent: AdsBot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Google-Extended
Allow: /

# Sitemap
# 검색 엔진이 웹사이트의 모든 페이지를 효율적으로 발견하도록 사이트맵을 지정합니다.
# 실제 웹사이트의 정확한 도메인과 사이트맵 파일 경로를 사용해야 합니다.
# 워드프레스 SEO 플러그인(Yoast SEO, Rank Math 등)이 생성하는 기본 사이트맵 인덱스 URL을 사용하세요.
Sitemap: https://safarizone.co.kr/sitemap_index.xml

새로운 `robots.txt` 적용하기

기존 파일 백업: 현재 웹사이트의 robots.txt 파일 내용을 반드시 백업해두세요. 혹시 모를 문제 발생 시 복구할 수 있습니다.
파일 교체: 위에서 제공된 최적화된 코드를 복사하여 웹사이트 루트 디렉토리(예: public_html/)에 있는 robots.txt 파일을 대체하세요.
사이트맵 URL 확인: Sitemap: 뒤에 붙는 URL이 여러분의 웹사이트 도메인과 사이트맵 파일 경로와 정확히 일치하는지 다시 한번 확인하는 것이 중요합니다. 워드프레스 SEO 플러그인을 사용한다면, 해당 플러그인이 생성하는 sitemap_index.xml과 같은 메인 사이트맵 URL을 넣어주세요.
업로드 및 확인: 파일을 저장하고 웹 서버에 업로드합니다. 이후 빙 웹마스터 도구에 접속하여 ‘Robots.txt 테스터’ 도구를 사용하여 변경 사항이 올바르게 적용되었는지 확인하고, ‘URL 검사’ 도구를 통해 특정 페이지가 빙 봇에 의해 크롤링 및 색인 가능한지 다시 점검해 보세요.

마무리하며

robots.txt 파일은 검색 엔진과 웹사이트 간의 중요한 소통 도구입니다. 이 파일을 올바르게 설정하는 것은 검색 엔진 최적화(SEO)의 기본 중의 기본이죠. 빙 로봇의 접근이 원활해지면, 여러분의 웹사이트 콘텐츠가 빙 검색 결과에 더 잘 노출되어 잠재 방문자 유입에 긍정적인 영향을 미칠 것입니다.

쿠팡파트너스 활동으로 일부 수익금이 발생합니다

Is Your Website Not Showing Up on Bing? Understanding and Optimizing Your robots.txt File for SEO

If your website suddenly isn’t appearing correctly in Bing search results, it can be quite frustrating. As a major search engine alongside Google, Bing’s visibility significantly impacts your website’s traffic and overall presence. If the Bingbot isn’t properly crawling and indexing your site, the root cause might be a simple file: your robots.txt.

Let’s explore the importance of the robots.txt file through a recent user’s experience and provide a detailed guide on how to configure it to allow Bingbot access and optimize your SEO.

No Bingbot Blocking Found in the `robots.txt` File!

Upon analyzing the robots.txt file provided by the user, we found no explicit commands blocking the Bingbot. In fact, the Allow: / directive under User-agent: Bingbot clearly indicated that Bingbot’s access to the website was permitted.

So, why might Bingbot not be accessing the site? If the robots.txt file isn’t directly blocking it, other factors could be at play, such as web hosting provider firewall settings, CDN (Content Delivery Network) configurations, or WordPress security plugins. However, this article will focus on optimizing the robots.txt file itself for SEO.

Crafting an SEO-Optimized `robots.txt` File

The provided robots.txt file contained several redundancies and inefficiencies. We’ve streamlined it into a clean, SEO-friendly configuration that enables efficient crawling and indexing by Bing and other major search engines.

Here’s the recommended robots.txt structure. Simply update the Sitemap line to match your website’s actual sitemap URL.

# User-agent: *
# General rules applying to all search engine bots.
User-agent: *
Allow: /
# Block WordPress admin pages from being indexed by search engines, as they are not needed.
Disallow: /wp-admin/
# However, specifically allow the WordPress AJAX script as it's functionally necessary.
Allow: /wp-admin/admin-ajax.php
# Disallow internal search results pages to prevent duplicate content issues.
Disallow: /?s=
# Also disallow WordPress post preview URLs (typically starting with /?p=).
Disallow: /*?p=*
# You can also disallow unnecessary archives like tags, category feeds, etc.
# Disallow: /tag/
# Disallow: /category/
# Disallow: /feed/
# Disallow: /comments/feed/
# Disallow: /trackback/
# Disallow: /wp-content/plugins/
# Disallow: /wp-content/themes/

# Specific rules for individual bots (these take precedence over general rules).
# Explicitly allow full access for Bingbot.
User-agent: Bingbot
Allow: /

# Allow Bing Preview bot.
User-agent: BingPreview
Allow: /

# Allow Yahoo! search bot (Slurp).
User-agent: Slurp
Allow: /

# MJ12bot can cause heavy site load and is generally disallowed.
User-agent: MJ12bot
Disallow: /

# Allow OpenAI's GPTBot.
User-agent: GPTBot
Allow: /

# Allow Apple bot.
User-agent: Applebot
Allow: /

# Allow Yandex bot.
User-agent: Yandex
Allow: /

# Explicitly allow Google-related bots.
User-agent: Googlebot
Allow: /

User-agent: AdsBot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Google-Extended
Allow: /

# Sitemap
# Specify your XML sitemap to help search engines efficiently discover all pages on your website.
# Ensure you use your website's exact domain and the correct sitemap file path.
# For WordPress, use the main sitemap index URL generated by your SEO plugin (e.g., Yoast SEO, Rank Math).
Sitemap: https://safarizone.co.kr/sitemap_index.xml

Implementing Your New `robots.txt`

Backup Your Current File: Always back up your existing robots.txt file content. This provides a safety net if any issues arise after changes.
Replace the File: Copy the optimized code provided above and replace the content of your robots.txt file, typically located in your website’s root directory (e.g., public_html/).
Verify Sitemap URL: It’s crucial to double-check that the URL after Sitemap: exactly matches your website’s domain and the path to your sitemap file. If you’re using a WordPress SEO plugin, use the main sitemap index URL generated by that plugin (e.g., sitemap_index.xml).
Upload and Verify: Save the file and upload it to your web server. Then, visit Bing Webmaster Tools and use the ‘Robots.txt Tester’ to confirm the changes have been applied correctly. Use the ‘URL Inspection’ tool to re-verify if specific pages can now be crawled and indexed by Bingbot.

In Conclusion

The robots.txt file is a critical communication tool between search engines and your website. Configuring it correctly is a fundamental aspect of Search Engine Optimization (SEO). By ensuring unhindered access for Bingbot, your website’s content will stand a better chance of appearing in Bing search results, positively impacting potential visitor traffic.

웹사이트 빙(Bing) 검색 노출, 왜 안될까? robots.txt 파일 완벽 분석 및 SEO 설정 가이드

robots.txt 파일, Bing 봇 차단은 없었다!

SEO에 최적화된 robots.txt 파일 만들기

새로운 robots.txt 적용하기