تبلیغات
آموزش کسب و کار الکترونیک,تجارت الکترونیک,کسب وکار الکترونیک,بهینه سازی سایت,ایمیل, E-Business,e-commerce, مارکتینگ,بازاریابی الکترونیکی,لینکدین,افزایش رتبه الکسا

موتورهای جستجو همانند گوگل ، یاهو و بینگ مایکروسافت برای برای یافتن و ایندکس کردن صفحات مختلف وب و سایت های موجود از روبات های جستجو که به spider , robot و یا crawler معروف هستنداستفاده می کننید . این روبوت ها با پیمایش خودکار در صفحات وب اطلاعات مربوط به صفحات رو بدست میارند و اونها رو به موتور جستجوی مربوطه ارسال میکنند . معمولا بر اساس اینکه یک سایت چند مدت به چند مدت آپدیت میشه تعداد دفعاتی که این روبات های جستجوگر در روز به سایت مراجعه می کنند متفاوته .

ربات های موتورهای جستجو
فایل robot.txt چیست

صفحات موجود در سایتهای مختلف از لحاظ امنیتی و درجه حساسیت متفاوت هستند و شاید شما دوست نداشته باشید بعضی از صفحات (مثل صفحات مدیریتی و ادمین سایت) در موتورهای جستجو ایندکس بشه و آدرسش در این موتورها در اختیار عموم باشه . برای اینکه به موتورهای جستجو بگید چه صفحات یا فولدرهایی در سایت رو پیمایش و ایندکس کنه و اینکه چه صفحاتی رو ایندکس نکنه می تونید از یک فایل با نام robot.txt در ایندکس هاستینگ سایتتون و یا در پوشه ای خاص استفاده کنید تا به موتورهای جستجو بگید جا مجازید پیمایش کنید و کجا مجاز نیستید.

همونطور که در عکس بالا میبینید ، در سایتی که از فایل robot.txt استفاده نشده باشه روبات های موتورهای جستجو همه ی صفحات رو ایندکس می کنند در صورتی که با استفاده از این فایل میشه این ایندکس شدنها رو برای پوشه های مختلف کنترل کرد ! از این فایل همچنین برای جلوگیری از ایندکس شدن تکراری صفحات با url های مختلف استفاده میشه .
:: خوب حالا که فهمیدید دلیل استفاده از فایل مهم robot.txt چی هست ، نحوه استفاده از اون رو براتون توضیح میدیم :
فایل robot.txt یک فایل متنی ساده (دقیقا با همین نام و پسوند txt) است . در زیر چند تا از مهمترین دستوراتی که توی این فایل می تونید بیارید آوردم .
User-agent
در خط اول این فایل معمولا نوع روباتی که قراره محدودیت ایندکسینگ رو براش اعمال کنیم با دستور *:User-agent میاریم . به شکل زیر :

علامت * میگه که همه ی ربات های پیمایشگر ، این دستورات براشون اعمال بشه .
مثلا اگه بخواید بگید فقط روبات های گوگل این محدودیت ها رو داشته باشند ، این دستور رو به این شکل داریم :

در اینجا میتونید لیست همه ی روبوت های موجود و معروف رو ببینید .
اگر فایل فقط حاوی این خط باشه همچنان پیمایشگران محترم موتورهای جستجو بدون محدودیت به ایندکس کردن همه صفحات ادامه می دن .
Disallow
برای جلوگیری از ایندکس شدن ادرس خاصی از سایت از دستور Disallow استفاده میشه . بزارید چندتا مثال بزنیم :

این دوخط فوق باعث میشه که جلوی ایندکس شدن همه ی صفحات توسط روبوت های گوگل گرفته بشه .

در مثال فوق همه ی روبوت ها رو محدود میکنید که اجازه ایندکس کردن صفحه admin.php رو نداشته باشند .

در این مثال هم همه ی روبوت ها رو محدود میکنید که اجازه ایندکس کردن صفحه private.html و پوشه های cgi-bin و images رو نداشته باشند .

البته میتونید برای روبوت های مختلف محدودیت های مختلف تعیین کنید :

Allow
از دستور Allow هم معمولا برای اجازه دادن ایندکسینگ به زیرپوشه ای که درون یک پوشه Dissallow شده قرار داده استفاده میشه . مثال زیر رو ببینید :

در اینجا ما می گیم که روبات ها اجازه ایندکس کردن محتویات درون پوشه files رو ندارند به جز پوشه public که در پوشه files قرار داره !

robot.txt برای سایت های وردپرسی !
در زیر یک فایل مناسب برای استفاده وب سایت هایی که با وردپرس ساخته شدند آوردم . می تونید ازش استفاده کنید . میبینید که به پوشه های مدیریتی و حاوی فایل ها قالب و پلاگین ها و ... اجازه دسترسی داده نشده .

همونطور که در مثال بالا می بینید می تونید به این طریق Sitemap سایت خودتون رو هم در این فایل قرار بدید تا در معرض دید روبات ها باشه . انشاءالله در آینده در مورد فایل sitemap و دلایل استفاده از اون هم صحبت خواهیم کرد .

robot.txt برای سایت های پیاده سازی شده با جوملا !

1
2
User-agent: *
Disallow: /component


منبع:سون لرن 7learn.com


تاریخ : پنجشنبه 15 مرداد 1394 | 04:36 ب.ظ | نویسنده : ساناز داودی | نظرات
.: Weblog Themes By SlideTheme :.






خرید پروژه، مقاله و پایان نامه

پونیشا :: نیروی کار مجازی

آگهی ساز - آگهی و تبلیغات رایگان



  • ام جی