آموزش سئو

جلوگیری از ایندکس صفحات سایت در گوگل

آگاهی از وضعیت ایندکس سایت، یکی از مهترین وظایف هر سئوکاری است. همانطور که در مطلب “افزایش سرعت ایندکس سایت” گفته شد، گوگل هر از چندگاهی بسته به میزان اعتبار و نرخ تولید محتوا، خزنده های خود را برای بررسی جدیدترین تغییرات ایجاد شده سایت، ارسال میکند. گرچه بالا بودن سرعت ایندکس مطالب سایت، معمولا به عنوان یک نقطه قوت در نظر گرفته میشود، اما گاهی اوقات ایندکس شدن یک صفحه به خصوص، آسیب زیادی به سئو سایت و رتبه آن وارد میکند. در این شرایط، آگاهی از روشهای جلوگیری از ایندکس صفحات سایت در گوگل، یک موهبت است. اگر شما هم بنا به برخی دلایل که در ادامه معرفی میکنیم، به دنبال راهی جهت جلوگیری از ایندکس شدن بعضی صفحات سایت هستید؛ در ادامه این مطلب همراه ما باشید.

بر اساس یک تصور کلی، هرچه که تعداد صفحات سایت، حول یک کلمه کلیدی سخت و با رقابت بالا، بیشتر باشد؛ شانس سایت برای کسب رتبه مطلوب در صفحه نتایج گوگل هم بیشتر میشود. اما گاهی اوقات، بهتر است که برخی از صفحات سایت خود را چشم خزنده های گوگل، پنهاد کنید. به عنوان مثال، زمانی که قصد استفاده از برچسب دارید، اما مطمئن نیستید که در آینده محتوای مشابه با کلمه کلیدی برچسب در سایت منتشر میکنید یا نه! در این شرایط، بهتر است برای آنکه مجبور به استفاده از تگ کنونیکال نشوید، از ایندکس شدن صفحات ایجاد شده جلوگیری کنید.

چه صفحاتی از سایت نباید ایندکس شوند؟ : چه زمانی به جلوگیری از ایندکس شدن بعضی صفحات نیاز است؟

دلایل متعددی برای جلوگیری از ایندکس سایت وجود دارد که در ادامه به معرفی برخی از رایج ترین شان، میپردازیم:

جلوگیری از ایجاد محتوای تکراری

همانطور که در مقالات قبلی گفته شد، تولید محتوای جذاب، یکی از مهمترین مواردی که هنگام راه اندازی کسب و کار اینترنتی باید به آن توجه داشته باشید. اما لازم به ذکر است که نه کاربر و نه گوگل، هیچ یک به محتوای تکراری علاقه ای ندارید! محتوای که هیچ ارزشی به مخاطب اضافه نکرده و در واقع فقط بودجه خزنده های گوگل و زمان کاربر را تلف کرده، قطعا به عنوان یک نقطه ضعف برای سایت در نظر گرفته میشود. جلوگیری از ایندکس شدن بعضی صفحات، یکی از روشهای رفع این مشکل است. زمانی که به هر دلیلی یک صفحه تکراری در سایت ایجاد شده و شما با استفاده از روشهایی که ادامه گفته میشود، از بررسی و ایندکس آن توسط گوگل، جلوگیری میکنید.

حتما بخوانید :  پروفایل بک لینک : با ایجاد حساب کاربری، بک لینک بگیرید

صفحات خوش آمدید و …

صفحات لندینگ، یکی از مهمترین صفحات سایت هستند که مسئول افزایش نرخ تبدیل را به عهده دارند. حال تصور کنید که مخاطب بعد از قرار گرفتن در یک صفحه فرود، قصد دانلود یک فایل را دارد. با کلیک روی لینک دانلود فایل، احتمالا به صفحه تشکر یا خوش آمدید و یا صفحه مشابه با این موضوعات هدایت میشود. صفحاتی که هیچ ارزشی برای سئو سایت نداشته و صرفا برای بهبود تجربه کاربری در سایت قرار گرفته اند. به عبارت دیگر، مخاطب صفحاتی مانند خوش آمدید را مشاهده میکند فقط به این خاطر که از یکی از اهداف بازاریابی شما توسط وی برآورده شده است، نه به این دلیل که با جستجو در گوگل به صفحه خوش آمدید سایت شما رسیده است!

روش های جلوگیری از ایندکس صفحات سایت در گوگل

حال که با چند نمونه از صفحاتی که نباید ایندکس شوند آشنا شدید، نوبت به بررسی روشهای جلوگیری از ایندکس سایت میرسد.

استفاده از فایل Robots.txt

استفاده از این فایل تنها زمانی توصیه میشود که هم دسترسی به این فایل را دارید و هم میخواهید از طریق این فایل کنترل بیشتری روی صفحاتی داشته باشید که وضعیت ایندکس آنها را مشخصا برای گوگل تعیین کرده اید. از طریق فایل robots.txt ، می توانید مشخص کنید که آیا می خواهید دسترسی خزنده ها به یک صفحه ، یک دسته بندی یا حتی فقط یک تصویر یا فایل را مسدود کنید. البته لازم به ذکر است که استفاده از این روش تنها در صورتی توصیه میشود که شما اطلاعات کاملی در رابطه با سئو تکنیکال داشته و با کدنویسی تا حدی آشنایی دارید.

استفاده از متاتگ های noindex و nofollow

اگر به دنبال یک راه حل ساده تر برای جلوگیری از ایندکس صفحات سایت در گوگل هستید، میتوانید از متاتگهای “noindex” و “nofollow” استفاده کنید. با استفاده از این دو تگ میتوانید هم قادر به جلوگیری از ایندکس یک صفحه خواهید بود و هم یک لینک به خصوص در یک صفحه. استفاده از این روش به مراتب از روش استفاده از فایل robots.txt ساده تر است و به دانش کمتری از برنامه نویسی نیاز دارد.

تگ noindex چیست؟
وقتی متاتگ “noindex” را به یک صفحه وب اضافه می کنید، به یک موتور جستجو می گویید که حتی اگر خزنده ها به این صفحه از سایت سر بزنند، نمی توانند صفحه را به فهرست جستجوی خود اضافه کند. بنابراین اگر از این تگ در یک صفحه استفاده شود، صفحه به هیچ عنوان هیچ وقت در صفحه نتایج گوگل نمایش داده نخواهد شد.
تگ nofollow چیست؟
هنگامی که متاتاگ “nofollow” را به یک صفحه وب اضافه می کنید ، موتورهای جستجو را از بررسی و خزش پیوندهای آن صفحه منع می کند. در نتیجه اعتباری که آن صفحه به خصوص در صفحه نتایج گوگل دارد، به سایر لینکهایی که داخل آن وجود دارد، منتقل نمیشود. بنابراین در صفحه با تگ “nofollow”، تمام پیوندهای آن توسط Google و سایر موتورهای جستجو نادیده گرفته خواهد شد.
چه زمانی از تگ “noindex” و “nofollow” جداگانه یا در کنار هم باید استفاده کرد؟
استفاده از تگ “noindex” و “nofollow” به صورت جداگانه و در کنار هم امکانپذیر است. اما سوال مهمی که احتمالا برای بسیاری ایجاد میشود این است که چه زمانی باید از این دو تگ به صورت جدا و یا باهم استفاده کرد؟
استفاده از تگ noindex تنها
زمانی که میخواهید یکی از صفحات سایت ایندکس نشود اما لینک های داخل آن، توسط خزنده ها بررسی و دنبال شوند، باید از این تگ استفاده کنید. صفحه پرداخت در سایت های فروشگاهی، نمونه ای از صفحاتی است که باید تگ noindex برای آن استفاده شود.
استفاده از تگ nofollow تنها
وقتی می خواهید یک موتور جستجو صفحه وب را صفحه نتایج خود نمایش دهد، اما نمی خواهید لینکهای مربوط به آن صفحه را دنبال کند. به عنوان مثال زمانی که از یک لینک خارجی در محتوای خود استفاده کرده اید اما نمیخواهید لینک توسط گوگل بررسی شود.
استفاده همزمان از تگهای “noindex” و “nofollow”
زمانی که میخواهید هم یک صفحه از سایت به گوگل نمایش داده نشود و هم لینکهای موجود در صفحه توسط خزنده ها دنبال نشود. صفحاتی مانند صفحه خوش آمدید، نمونه ای از شرایطی هستند که باید از این دو تگ همزمان باهم برای آن استفاده شود.

حتما بخوانید :  آموزش لینک سازی داخلی و بهبود سئو

استفاده از تگ X-ROBOTS در هدر HTTP

یکی دیگر از روشهای جلوگیری از ایندکس صفحات سایت در گوگل، استفاده از تگ X-Robots در هدر HTTP است. این روش اساسا مشابه با روش استفاده از تگ “noindex” است، با این تفاوت که برای موتورهای جستجوی مختلف، شرایط متفاوتی دارد. به عنوان مثال شما میتوانید منحصرا برای خزنده های گوگل یک شرایط ویژه و متفاوت نسبت به خزنده های سایر موتورهای جستجو، تعیین کنید. بسته به مرورگری که استفاده میکنید، شرایط پیدا کردن هدر HTTP متفاوت است. برای Google Chrome می توانید از ابزارهای برنامه نویسی مانند ModHeader یا Modify Header Value استفاده کنید. بعد از آنکه موفق به یافتن هدر HTTP شدید، متوانید تگ را به صورت زیر وارد کنید:

  • X-Robots-Tag: noindex

اما اگر میخواهید برای موتورهای جستجوی مختلف، شرایط متفاوتی تعیین کنید، از دستورات زیر استفاده کنید:

  • X-Robots-Tag: googlebot: nofollow
  • X-Robots-Tag: otherbot: noindex, nofollow

استفاده از افزونه یوآست

از افزونه یوآست وردپرس هم میتوان برای اضافه کردن این تگ به صفحه استفاده کرد. سوال “به موتورهای جستجو اجازه نمایش نوشته در نتایج جستجو را می دهید؟” برای اضافه کردن تگ noindex و سوال “موتورهای جستجو باید لینک های موجود در نوشته را دنبال کنند؟” برای اضافه کردن تگ nofollow مورد استفاده قرار میگیرد.

استفاده از افزونه یوآست برای جلوگیری از ایندکس صفحات سایت در گوگل

استفاده از گوگل کنسول برای جلوگیری از ایندکس شدن بعضی صفحات

روش آخر، که تنها برای خزندهای گوگل کاربرد دارد، استفاده از ابزار Remove URLs برای حذف کردن موقتی صفحات سایت از فهرست نتایج گوگل است. برای استفاده از این روش، باید وارد سرچ کنسول شده و از منوی سمت چپ، گزینه Removals را انتخاب کنید. در صفحه ای که برایتان نمایش داده میشود، گزینه New Request را انتخاب کنید. لینک مورد نظر را وارد کرده و Next را انتخاب کنید. به خاطر داشته باشید که در این روش، صفحه تنها به مدت ۶ ماه از نتایج گوگل حذف خواهد شد.

حتما بخوانید :  لینک نوفالو چیست؟ - نحوه استفاده و کاربرد کد نوفالو Nofollow

استفاده از گوگل کنسول برای جلوگیری از ایندکس شدن بعضی صفحات

نحوه استفاده از فایل Robots.txt برای عکسها

Robots.txt فایلی است که در روت سایت شما قرار گرفته و اطلاعات لازم در مورد وضعیت ایندکس سایت را در اختیار رباتهای گوگل، بینگ و سایر موتورهای جستجو قرار میدهد. این فایل در حالت معمولی برای یک سایت وردپرسی، مشابه با زیر است:

  * :User-agent
/Disallow: /wp-admin
/Disallow: /wp-includes

فایل استاندارد robots.txt با یک دستورالعمل برای کاربر و یک نماد ستاره شروع می شود. ستاره راهنمایی برای کلیه ربات هایی که به وب سایت می آیند تا تمام دستورالعمل های ارائه شده در زیر آن را رعایت کنند. از Robots.txt می توان برای جلوگیری از ایندکس شدن فایلهای دیجیتالی مانند PDF ، JPEG یا MP4 استفاده کرد. برای جلوگیری از ایندکس شدن فایلهای PDF و JPEG ، باید قطعه کد زیر به پرونده robots.txt اضافه شود:

فایلهای PDF:

  * :User-agent
.Disallow: /pdfs/ # Block the /pdfs/directory
.Disallow: *.pdf$ # Block pdf files from all bots. Albeit non-standard, it works for major search engines

عکسها:

 User-agent: Googlebot-Image
.Disallow: /images/cats.jpg #Block cats.jpg image for Googlebot specifically

در صورتی که میخواهید تنها از ایندکس شدن فایلهایی با پسوند .GIF جلوگیری کنید، باید از قطعه کد زیر استفاده کنید:

 User-agent: Googlebot-Image
$Disallow: /*.gif

مهمترین نکاتی که هنگام استفاده از Robots.txt باید بدانید

  • از Googlebot-Image می توان برای مسدود کردن تصاویر و یک پسوند خاص از عکس در جستجوی Google image استفاده کرد.
  • در صورتی که سایر موتورهای جستجو با این فایل سازگار نباشند، از این دستورات چشم پوشی کرده و صفحات را ایندکس میکنند.
  • در صورتی که لینک چنین صفحاتی در سایت های دیگر وجود داشته باشد، توسط گوگل و یا سایر موتورهای جستجو، ایندکس خواهند شد.

نحوه استفاده از متاتگ های “noindex” و “nofollow” برای جلوگیری از ایندکس سایت

مرحله اول: برای استفاده از این دو تگ، باید دو دستور زیر را کپی کنید:

  1. <META NAME=”robots” CONTENT=”noindex”> (noindex تنها)
  2. <META NAME=”robots” CONTENT=”nofollow”> (nofollow تنها)
  3. <META NAME=”robots” CONTENT=”noindex,nofollow”> (“noindex” و “nofollow” باهم)

مرحله دوم: اضافه کردن کدهای کپی شده به بخش <head> کدهای HTML صفحه

برای انجام این کار باید کد سورس صفحه ای که قصد جلوگیری از ایندکس آن را دارید، باز کنید. سپس باید کد مورد نظرتان را بین تگهای <head> و </head> وارد کنید.

  • <meta name=”robots” content=”noindex”>
  • <meta name=”googlebot” content=”nofollow”>

نکته مهم: به خاطر داشته باشید که با استفاده از روشهای جلوگیری از اینکه شدن بعضی صفحات، صفحات تنها برای موتورهای جستجو از دسترس خارج میشوند. بنابراین، صفحه همچنان برای کاربران در دسترس است.

چه مدت زمان میبرد تا نتیجه جلوگیری از ایندکس شدن بعضی صفحات مشخص شود؟

لازم به ذکر است که نتیجه هر یک از روشهای گفته شده، بلافاصله قابل مشاهده نیست و در برخی موارد به چند هفته زمان نیاز است. اگر از تگ “noindex” استفاده کرده اید اما هنوز هم صفحه مورد نظرتان در صفحه نتایج گوگل نمایش داده میشود، احتمالا به این خاطر است که خزنده های گوگل هنوز به سایت شما سر نزده اند. برای اطمینان از این مسئله، میتوانید از طریق سرچ کنسول، درخواست بررسی و ایندکس مجدد صفحه را برای گوگل ارسال نمایید.

نمایش بیشتر

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

نوشته های مشابه

دکمه بازگشت به بالا
بستن
بستن