robots.txt for E-commerce: Cart, Checkout ও Filter URL Block করুন

robots.txt ছোট্ট একটা text file, কিন্তু এক লাইনের ভুলে পুরো online shop Google থেকে উধাও হয়ে যেতে পারে। আবার ঠিকমতো লিখলে Google-এর crawler cart, checkout আর হাজারো filter URL-এ সময় নষ্ট না করে আপনার আসল product ও category page-এ মনোযোগ দেয়। এই গাইডে দেখবেন robots.txt কী করে আর কী করে না, WooCommerce ও custom (Laravel) shop-এর জন্য একটা নিরাপদ template, এবং কীভাবে test করবেন।

robots.txt কী

robots.txt হলো আপনার domain-এর root-এ রাখা একটা plain text file — যেমন https://yourshop.com.bd/robots.txt। Googlebot সহ বেশিরভাগ ভদ্র crawler site-এ ঢোকার আগে এই file পড়ে এবং দেখে কোন path-এ তাদের crawl করার অনুমতি নেই।

এর মূল কয়েকটা নির্দেশনা:

• User-agent: কোন crawler-এর জন্য নিয়ম (* মানে সবার জন্য)।
• Disallow: কোন path crawl করা যাবে না।
• Allow: Disallow করা folder-এর ভেতরে কোনটা অনুমতি পাবে।
• Sitemap: আপনার XML sitemap কোথায়।

Google * (যেকোনো অক্ষর) আর $ (URL-এর শেষ) wildcard বোঝে, তাই parameter-যুক্ত URL-ও নিয়মে ধরা যায়।

সবচেয়ে বড় ভুল ধারণা: Disallow মানে noindex নয়

robots.txt শুধু crawling বন্ধ করে, indexing নয়। কোনো URL Disallow করা থাকলেও অন্য কোথাও থেকে link পেলে Google সেটা content না দেখেই search result-এ দেখাতে পারে (সাধারণত "No information is available for this page" লেখাসহ)।

আবার উল্টো দিক: কোনো page-এ noindex meta tag দিলেন, কিন্তু robots.txt দিয়ে সেটা block করে রাখলেন — তাহলে Google page-টা crawl করতেই পারবে না, ফলে noindex tag-টাও দেখবে না। তাই নিয়ম হলো:

শেষ লাইনটা গুরুত্বপূর্ণ: robots.txt সবাই পড়তে পারে। Admin panel-এর গোপন path সেখানে লিখে দিলে আপনি বরং সবাইকে জানিয়ে দিচ্ছেন সেটা কোথায়। Security-র কাজ login ও permission দিয়ে করুন।

E-commerce site-এ কী block করা উচিত

একটা online shop-এ স্বয়ংক্রিয়ভাবে অসংখ্য URL তৈরি হয়। ১০০টা product-এর একটা category-তে color, size, price, sort-এর combination মিলে হাজার হাজার URL হতে পারে, যার content প্রায় একই। Google এগুলো crawl করতে থাকলে আসল page-এ পৌঁছাতে দেরি হয়। সাধারণত block করার যোগ্য:

• Cart, checkout, my-account, wishlist, order tracking page
• ?add-to-cart= জাতীয় action URL
• Internal search result (?s=, /search?q=)
• Sort parameter (?orderby=, ?sort=)
• অসংখ্য combination তৈরি করে এমন filter parameter (তবে নিচের সতর্কতা দেখুন)

যা কখনো block করবেন না: product page, category page, ছবি, এবং CSS/JavaScript file। Google page render করে দেখে; CSS/JS block করলে Google-এর কাছে page ভাঙা দেখাতে পারে, ফলে content ও layout (mobile-এ কেমন দেখায় সহ) ভুল বোঝার ঝুঁকি থাকে।

WooCommerce-এর জন্য নমুনা robots.txt

এটা শুরু করার একটা নিরাপদ template — আপনার site-এর আসল URL structure দেখে মিলিয়ে নিন:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?add-to-cart=
Disallow: /*?*add-to-cart=
Disallow: /*?s=
Disallow: /*?orderby=
Disallow: /*?*orderby=

Sitemap: https://yourshop.com.bd/sitemap_index.xml

Bangla slug-এ cart/checkout page বানিয়ে থাকলে (যেমন /কার্ট/) সেই path-ও যোগ করতে হবে। WordPress নিজে একটা virtual robots.txt দেয়; Yoast বা Rank Math-এর "File editor" থেকে এটা সম্পাদনা করতে পারেন, অথবা root folder-এ আসল robots.txt file রাখতে পারেন (তখন virtual-টা আর কাজ করে না)।

Custom (Laravel) shop-এর জন্য

Laravel project-এ public/robots.txt file থাকে। Staging আর live-এর জন্য আলাদা নিয়ম দরকার হলে static file-এর বদলে একটা route থেকে environment দেখে content পাঠাতে পারেন।

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /search
Disallow: /*?sort=
Disallow: /*?*sort=

Sitemap: https://yourshop.com.bd/sitemap.xml

মনে রাখবেন, Disallow path হলো prefix match — Disallow: /cart দিলে /cartoon-t-shirt নামের product-ও block হয়ে যাবে! এমন ঝুঁকি থাকলে Disallow: /cart$ (শুধু /cart) আর Disallow: /cart/ (তার ভেতরের path) — এভাবে দুটো লাইন ব্যবহার করুন। পুরনো robots.txt Tester Google তুলে নিয়েছে; এখন Search Console-এর robots.txt report আর URL Inspection দিয়েই যাচাই করতে হয়।

ধাপে ধাপে: robots.txt ঠিক করা ও test করা

1. 1
   Browser-এ yourshop.com.bd/robots.txt খুলে বর্তমান file পড়ুন; কোথাও "Disallow: /" একা আছে কিনা সবার আগে দেখুন।
2. 2
   আপনার cart, checkout, account, search ও sort URL-গুলো কেমন দেখতে তা একটা তালিকায় লিখুন।
3. 3
   উপরের template থেকে শুরু করে আপনার URL অনুযায়ী Disallow লাইন বানান।
4. 4
   নিশ্চিত হোন product, category, ছবি, CSS ও JS কোনো নিয়মে block হচ্ছে না।
5. 5
   File-এর শেষে Sitemap: লাইনে সঠিক XML sitemap-এর URL দিন।
6. 6
   File save/upload করুন এবং browser-এ আবার খুলে নতুন version দেখা যাচ্ছে কিনা দেখুন (cache clear করে)।
7. 7
   Search Console-এর Settings → robots.txt report-এ দেখুন Google সর্বশেষ কোন version পেয়েছে এবং কোনো error আছে কিনা।
8. 8
   URL Inspection দিয়ে একটা product URL test করে দেখুন "Crawl allowed" আসছে কিনা।

সাধারণ ভুলগুলো

পরবর্তী পদক্ষেপ

আজই আপনার robots.txt খুলে পড়ুন — ২ মিনিটের কাজ, অথচ সবচেয়ে বড় বিপদ ধরা পড়ে এখানেই। তারপর sitemap-এর সাথে মিলিয়ে দেখুন: sitemap-এ থাকা কোনো URL যেন robots.txt-এ block না থাকে। Product তবুও Google-এ না এলে কারণ খুঁজতে দেখুন Google-এ product দেখাচ্ছে না: কারণ খোঁজার checklist।