چگونه بررسی کنیم که آیا گوگل سایت من را خزیده است (و رفع کند)

به روز شده: 1 ژوئیه 2023.

سه راه آسان برای بررسی اینکه آیا گوگل سایت شما را ،یده است یا خیر، کشف کنید.

اگر اینجا هستید، احتمالاً سعی می‌کنید بفهمید که آیا ،نده‌های قدرتمند وب گوگل از سایت شما بازدید کرده‌اند یا خیر. درک اینکه آیا و چه زم، گوگل سایت شما را ،یده است، بخش مهمی از هر استراتژی سئو قوی است، و من اینجا هستم تا به شما در رمزگشایی این فرآیند کمک کنم.

در این مقاله، من به دنیای ،یدن گوگل می پردازم – چیست، چرا اهمیت دارد و مهمتر از همه، چگونه می تو،د متوجه شوید که سایت شما توسط گوگل ،یده شده است یا خیر.

در پایان این مطالعه، شما تمام ابزارهای مورد نیاز خود را در اختیار خواهید داشت تا نه تنها تأیید کنید که آیا گوگل سایت شما را ،یده است، بلکه اگر این کار را نکرده است، اقدامی انجام دهید. بیا شروع کنیم!

TL;DR: چگونه بررسی کنیم که آیا گوگل سایت شما را ،یده است یا خیر

TL;DR: برای بررسی سریع اینکه آیا گوگل سایت شما را ،یده است یا خیر، از ابزار بازرسی URL در کنسول جستجوی گوگل (GSC) استفاده کنید. URL خود را در ابزار وارد کنید و اطلاعات مربوط به آ،ین تاریخ ،یدن، هرگونه خطای ،یدن و وضعیت نمایه سازی را ارائه می دهد. این یک راه مفید و قابل اعتماد برای دانستن اینکه آیا گوگل واقعاً سایت شما را ،یده است.

،یدن گوگل چیست و چگونه کار می کند؟

گوگل دائماً در جستجوی صفحات جدید و به روز شده برای افزودن به لیست صفحات “شناخته” خود است، مرحله ای که آن را “کشف URL” می نامند. گاهی اوقات، با دنبال ، پیوندی از یک صفحه موجود یا از نقشه سایت ارسالی شما، صفحات جدیدی را پیدا می کند.

هنگامی که یک URL کشف شد، گوگل ممکن است تصمیم بگیرد با استفاده از برنامه ای به نام Googlebot از آن صفحه بازدید کند یا آن را “،یدن” کند. ماموریت Googlebot این است که اطلاعات را از میلیاردها صفحه وب واکشی کند، در حالی که فرکانس و تعداد صفحاتی را که از هر سایت واکشی می کند متعادل می کند تا از بارگذاری بیش از حد آنها جلوگیری کند.

اما Googlebot همه چیز را نمی‌،د. گاهی اوقات، مالک سایت ممکن است ،یدن را ممنوع کرده باشد، یا ممکن است صفحه نیاز به دسترسی به ورود داشته باشد.

با ،یدن Googlebot، صفحه را رندر می‌کند و هر جاوا اسکریپتی را که با آن مواجه می‌شود از طریق نسخه‌ای از Chrome که شبیه مرورگر شما است اجرا می‌کند. این بسیار مهم است زیرا بسیاری از وب سایت ها از جاوا اسکریپت برای آوردن محتوا به صفحه استفاده می کنند و گوگل باید این محتوا را ببیند.

با این حال، ممکن است ،که وجود داشته باشد. Googlebot ممکن است با موانعی مانند مشکلات سرور، مشکلات شبکه یا قو،ن دسترسی تنظیم شده توسط فایل‌های robots.txt روبرو شود. بنابراین، در حالی که گوگل مشتاق ،یدن است، همیشه امکان پذیر نیست.

نکته: صفحات زیر “کشف شده – در حال حاضر فهرست نشده” در کنسول جستجوی Google، صفحاتی هستند که Google از آنها اطلاع دارد اما هنوز ،یده نشده است.

شما می تو،د بسیار دقیق پیدا کنید راهنمای نحوه عملکرد جستجوی Google در مرکز جستجوی گوگل. اکیداً توصیه می کنم این راهنما را بخو،د.

چگونه بررسی کنم که آیا گوگل سایت من را ،یده است (به 4 روش)

در اینجا چهار روشی که من می دانم برای بررسی اینکه آیا گوگل آ،ین بار در سایت شما ،یده است یا خیر، آورده شده است.

کنسول جستجوی گوگل (ابزار بازرسی URL)

وقتی صحبت از اطلاعات دقیق و قابل اعتماد در مورد وب سایت شما می شود، هیچ چیز بهتر از کنسول جستجوی گوگل نیست. ابزار بازرسی URL، به ویژه، منبع اصلی شما برای تعیین اینکه آیا و آ،ین بار گوگل یک صفحه خاص را در وب سایت شما ،یده است یا خیر. این چیزی است که شما انجام می دهید:

• وارد Google Search Console شوید.
• در منوی سمت چپ، ابزار “URL Inspection” را پیدا کنید.
• آدرس صفحه ای را که می خواهید بررسی کنید را در نوار جستجو وارد کنید.

• بخش «نمایه‌سازی صفحه» اطلاعات دقیقی را درباره صفحه نمایش می‌دهد، از جمله آ،ین زمان ،یدن آن و اینکه آیا ایند، شده است.

به خاطر داشته باشید که برای دسترسی به این اطلاعات، باید وب سایت خود را در کنسول جستجوی گوگل تأیید کنید.

تجزیه و تحلیل فایل لاگ

فایل‌های گزارش مانند یک دفترچه خاطرات از وب‌سایت شما هستند و تمام درخواست‌های ارسال شده به سایت شما، از جمله درخواست‌هایی که توسط Googlebot ارائه شده است را ثبت می‌کنند. شما می‌تو،د به صورت دستی این فایل‌ها را تجزیه و تحلیل کنید تا ببینید گوگل آ،ین بار چه زم، وب‌سایت شما را ،یده است.

• شما باید به فایل های گزارش وب سایت خود دسترسی داشته باشید. با ارائه دهنده هاست یا تیم فنی خود تماس بگیرید.
• هنگامی که فایل های گزارش را در اختیار دارید، می تو،د از نرم افزارهایی مانند ا،ل برای باز ، و تجزیه و تحلیل آنها استفاده کنید.

توجه داشته باشید که این روش می تواند کاملا فنی و پیچیده باشد، بنابراین ممکن است برای همه من، نباشد.

نمونه فایل گزارشی که بازدید Googlebot را نشان می دهد

فایل های گزارش معمولاً مانند یک فایل متنی ساده با خطوط داده به نظر می رسند. هر خط نشان دهنده یک درخواست سرور است و نقاط داده در هر خط اغلب با فاصله یا کاما از هم جدا می شوند. خطی در یک فایل گزارش که نشان می دهد Googlebot به سایت شما دسترسی پیدا کرده است ممکن است چیزی شبیه به این باشد:

66.249.66.1 - - [01/Jul/2023:12:01:27 -0700] "GET /your-page.html HTTP/1.1" 200 4523 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

این نمونه ای از ورودی فایل log در فرمت Common Log است. اجازه دهید م،ی هر ،مت را توضیح دهم:

• 66.249.66.1: این آدرس IP است که درخواست را انجام می دهد. Google دارای طیف وسیعی از آدرس‌های IP است که از آن برای ،یدن در وب استفاده می‌کند، و این یک آدرس Googlebot شناخته شده است.

• -: اینها متغیرهایی برای شناسه مشتری و شناسه کاربر هستند. در این حالت هیچ کدام ثبت نمی شود.
• [01/Jul/2023:12:01:27 -0700]: این تاریخ و ساعت درخواست است. در این مورد، درخواست در 1 ژوئیه 2023، در ساعت 12:01:27 بعد از ظهر، به وقت تابست، اقیانوس آرام انجام شد.
• “GET /your-page.html HTTP/1.1”: این خط درخواست است. «GET» روشی است که برای درخواست صفحه استفاده می‌شود، «/your-page.html» نش، اینترنتی صفحه درخواست شده و «HTTP/1.1» پروتکل مورد استفاده است.
• 200: این کد وضعیت پاسخ است. کد وضعیت 200 به این م،ی است که درخواست با موفقیت انجام شد و صفحه تحویل داده شد.
• 4523: این اندازه پاسخ در بایت است.
• “-“: این ارجاع دهنده است، که صفحه ای است که به صفحه مورد درخواست پیوند داده شده است. در این مورد، هیچ ارجاعی وجود ندارد.
• “Mozilla/5.0 (سازگار؛ Googlebot/2.1؛ + این عامل کاربر است که نرم افزار درخواست کننده را شناسایی می کند. این عامل کاربر ،نده را به ،وان Googlebot شناسایی می کند.

توجه داشته باشید که سرورهای مختلف ممکن است فایل های گزارش خود را به طور متفاوتی پیکربندی کنند، بنابراین همه فایل های گزارش دقیقاً شبیه این نیستند. برخی ممکن است شامل داده های اضافی باشند و برخی ممکن است بخش های خاصی را حذف کنند.

ابزارهای شخص ثالث

اگر جستجو در فایل‌های گزارش کار شما نیست، ابزارهای شخص ثالثی در دسترس هستند که فرآیند را ساده می‌کنند. به ،وان مثال، JetOctopus Log Analyzer یا Semrush Log File Analyzer:

• با استفاده از این ابزارها، شما به سادگی فایل های لاگ خود را آپلود می کنید و ابزار آنالیز را برای شما انجام می دهد.
• سپس به راحتی می تو،د ببینید که Googlebot چه زم، و چند بار از سایت شما بازدید کرده است.

راهنمای کامل من در مورد نحوه انجام تجزیه و تحلیل فایل لاگ با JetOctopus را بررسی کنید.

“سایت:” فرمان در گوگل

در نهایت، یک روش ساده، سریع و البته کمتر دقیق، استفاده از دستور “site:” به طور مستقیم در جستجوی گوگل است. در اینجا نحوه کار آن آمده است:

• به Google بروید و عبارت “site:” را تایپ کنید و سپس آدرس وب سایت خود را در نوار جستجو تایپ کنید.
• اگر گوگل صفحاتی را از وب سایت شما در نتایج جستجو برگرداند، به این م،ی است که آن صفحات را ،یده و ایند، کرده است.

به یاد داشته باشید، این به شما نمی گوید که گوگل چه زم، وب سایت شما را ،یده است، اما راهی سریع برای بررسی اینکه آیا سایت شما ،یده شده و ایند، شده است یا خیر.

اگر وب سایت شما ،یده نمی شود چه باید کرد؟

اگر متوجه شدید که وب سایت شما توسط گوگل ،یده نمی شود، نترسید. در اینجا چند مرحله برای ترغیب گوگل به انجام وظیفه آورده شده است:

مراحلی برای ترغیب گوگل به ،یدن وب سایت شما

1. URL خود را به گوگل ارسال کنید: شما می تو،د این کار را مستقیماً از طریق ابزار URL Inspection در کنسول جستجوی گوگل انجام دهید. پس از رسیدن به آنجا، می تو،د برای هر URL مرتبط با ویژگی که تأیید کرده اید، درخواست نمایه سازی کنید.
2. از نقشه سایت استفاده کنید: این مانند یک نقشه برای وب سایت شما است که به گوگل ارسال می کنید. این می تواند به گوگل کمک کند تا ساختار سایت شما را کشف و درک کند. اطمینان حاصل کنید که نقشه سایت شما به روز شده و به درستی قالب بندی شده است، سپس آن را از طریق کنسول جستجوی گوگل ارسال کنید.
3. ،ب (نه ساخت) پیوندهای خارجی: اگر هیچ سایت دیگری به سایت شما پیوند داده نشود، ممکن است Google در کشف آن مشکل داشته باشد. در حالی که نمی تو،د مستقیماً کنترل کنید چه ،ی به سایت شما پیوند می دهد، می تو،د شانس خود را با ایجاد محتوای با کیفیت بالا و قابل اشتراک گذاری افزایش دهید.
4. کیفیت: مطمئن شوید که سایت شما محتوای منحصر به فرد و با کیفیتی ارائه می دهد. EEAT و مفید بودن محتوا هرگز مهمتر از اکنون نبوده است.

من همچنین راهنمای کاملی را در مورد چگونگی وادار ، گوگل به ،یدن در سایت خود نوشته ام. برای جزئیات بیشتر حتما آن را بررسی کنید.

سوالات متداول (پرسش های متداول) در مورد چگونگی بررسی اینکه آیا گوگل سایت شما را ،یده است یا خیر

در اینجا متداول ترین سوالاتی که در مورد ،یدن (یا ،یدن) گوگل در سایت شما پرسیده می شود وجود دارد.