جلوگیری از محتویات تکراری یکی از کارهای مهم و نیازمند به بررسی دقیق برای یک سئو حرفه ای است. همانند تکراری به حساب آمدن محتویات سایت هایی که دارای دو آدرس دسترسی با یا بدون www هستند، هرگونه محتویات یکسان برای دو آدرس متفاوت می تواند به کاهش رتبه سایت منتهی شود.
دزدی محتویات از سایت های دیگر، نمایش یکسان محتویات در دو آدرس متفاوت یا وجود چند آدرس برای یک صفحه می تواند به کاهش بسیار زیاد رتبه سایت در موتورهای جستجو منتهی شود.
پس لازم است علاوه بر مطمئن شدن به، منحصر به فرد بودن اطلاعات هر آدرس، از وجود دو یا چند آدرس برای یک محتوا نیز جلوگیری گردد.
در بسیاری از CMS های رایج مانند وردپرس و جوملا این اتفاق بسیار محتمل است. به عنوان مثال SEF کردن لینک ها به نحوی است که لینک های قدیمی همچنان قادر به کار هستند و بسیاری از موارد دیگر می تواند باعث تکراری بودن اطلاعات برای لینک های متفاوت شود. در زیر به چند عامل به صورت فهرست اشاره می گردد.
http://shop.com/product?company=سونی&category=موبایلhttp://shop.com/product?category=موبایل &company=سونییکی از رایج ترین مشکلات تکراری بودن آدرس ها برای یک برگه یا یک نوشته، دسترسی به آن برگه یا نوشته از طریق آدرس های متفاوت در فهرست است. در وردپرس سعی شده است با امکان افزودن یک آدرس بر اساس شناسه منحصر به فرد به فهرست حل شود. در صورتی که کاربر به جای افزودن یک آدرس به صورت دستی از ابزار مخصوص افزودن لینک صفحات استفاده کند آدرس های استفاده شده در کل سیستم منحصر به فرد باقی خواهند ماند.
وردپرس برای تولید فهرست / منو ابزار مخصوصی دارد که قالب ها نیز از آن پشتیبانی می کنند و این ابزار باعث انسجام بیشتر و یکسان سازی لینک ها برای یک محتوای منحصر به فرد می شود.
یکی از تگ های بسیار خطرناک در سئو که استفاده نابجا یا اشتباهی از آن می تواند به از بین رفتن رتبه سایت منجر شود تگ canonical است. این تگ در تمام صفحاتی که با آدرس هایی غیر از آدرس اصلی قابل دسترسی هستند استفاده می شوند و می توانند آدرس اصلی صفحه را به ربات مرورگر موتورهای جستجو معرفی کنند.
به عنوان مثال دو صفحه زیر به یک صفحه و محتویات یکسان اشاره می کنند
http://shop.com/product?company=اپل&model=iPhone6
http://shop.com/product/اپل/iPhone6
برای جلوگیری از بروز مشکل تکراری بودن محتویات به وسیله تگ canonical می توان خط زیر را در متن خروجی صفحه مورد اشاره اضافه کرد.
<link href="/product/اپل/iPhone6" rel="canonical" /> با این روش شما می توانید از ایندکس شدن صفحات تکراری جلوگیری کنید در حالی که هر دو صفحه قابل دسترسی هستند، ربات های گوگل آدرس موجود در تگ canonical را به جای آدرس اصلی شناسایی / ایندکس می کنند.
اما باید در استفاده از این تگ دقت بسیار زیادی داشت. برای آشنایی و توضیحات بیشتر در زمینه مخاطرات استفاده از این تگ را به مقاله ای با عنوان مخاطرات استفاده از تگ canonical ارجاع و مطالعه آن توصیه می شود.
در انتقال آدرس صفحات وب به یکدیگر، چند نوع انتقال تعبیه شده است. این انتقال ها غالبا با کدهای شماره ای، شناسایی می شوند که این کدها قسمتی از کد های وضعیت HTTP هستند. کدهای سری 300 غالبا به وضعیت انتقال اشاره می کنند. به عنوان نمونه به برخی از آنها اشاره می کنیم.
در مثال بالا در صورت استفاده از روش انتقال به جای تگ canonical، هنگام درخواست صفحه زیر در مرورگر
http://shop.com/product?company=اپل&model=iPhone6
آدرس به صفحه زیر تغییر کرده و سپس محتویات صفحه نمایش می یابد
http://shop.com/product/اپل/iPhone6
برای دسترسی به همچین امکانی می توان از ابزارهای مختلفی مانند تغییر htaccess. در برنامه های مبتنی بر PHP یا استفاده از Plugin های مخصوص وردپرس استفاده کرد.
همانگونه که اشاره شده تغییر و جابجایی مسیرها با جابجایی موقت و دائم علامت گذاری می شود. برخی از موتورهای جستجو جابجایی موقت یا جابجایی با کد 302 را تقلب دانسته و ممکن است هر دو آدرس جدید و قدیم را از فهرست صفحات ایندکس شده ی خود حذف کنند.
با استفاده نوشتن یک robots.txt مناسب نیز می توان از تکراری بودن آدرس های متعلق به یک محتوا جلوگیری کرد. به عنوان مثال می توان بعد از پروسه SEF سازی لینک ها از ایندکس شدن تمامی آدرس هایی که با ؟ همراه هستند جلوگیری نمود. البته در صفحه افزون robots.txt اطلاعات بیشتری در این مورد توضیح داده شده است.
یکی از راه های جلوگیری از تکراری بودن آدرس ها با محتویات یکسان استفاده از Plugin ها در CMS هایی مانند وردپرس است. گرچه استفاده از robots.txt یا ایجاد تغییرات در htaccess. موثر است اما استفاده از این پلاگین ها می تواند پروسه جلوگیری را با اطمینان بیشتری همراه کند. برای این منظور می توانید در فهرست Plugin های وردپرس به دنبال SEF یا Rewrite جستجو کنید.
یکی دیگر از راه حل های استفاده از سامانه ابزارهای مدیریت وب سایت گوگل / Google Webmaster Tools است. بررسی صفحات ایندکس شده و رسیدگی به خطاهای گزارش داده شده توسط ربات گوگل می تواند از این رخداد جلوگیری کند. البته لازم به ذکر است که تغییرات به صورت فوری در ایندکس کردن صفحات مشاهده نمی شود و باید با صبر و حوصله با این مشکل رو به رو شد.