การลบ URL ออกจาก Google มีอยู่หลากหลายวิธีที่สามารถทำได้ แต่อย่างไรก็ต่างวิธีการลบจะแตกต่างกันไปตามสถานการณ์ ไม่มีขั้นตอนที่ตายตัว ซึ่งเป็นจุดสำคัญมากที่ต้องทำความเข้าใจ เนื่องจากหากใช้การลบที่ผิดวิธี จะส่งผลให้เพจยังคงอยู่และยังไม่ดีต่อการทำ SEO อีกด้วย
ดังนั้นวันนี้เราจะมาแนะนำวิธีการลบต่าง ๆ เพื่อให้คุณสามารถตัดสินใจได้ว่าวิธีไหนเหมาะสมกับเว็บไซต์ของคุณมากที่สุด หากพร้อมแล้วไปเรียนรู้กันได้เลย อย่าได้รอช้า ซึ่งวิธีการไม่ได้ยุ่งยากอย่างที่คิด มือใหม่ก็สามารถลงมือทำเองได้
และรูปภาพที่แสดงให้เห็นด้านบนนี้ เป็นแผนผังขั้นตอนสำหรับวิธีการลบ URL จากการค้นหาของ Google ซึ่งทุกคนสามารถพิจารณาแนวทางที่ดีที่สุดให้กับเว็บไซต์ของตนเอง และเมื่อเลือกได้แล้วว่าจะใช้วิธีการใดเพื่อให้ส่งผลดีต่อเว็บไซต์ ก็ถึงเวลาลงมือทำกันเลย
สารบัญเนื้อหา
- วิธีการตรวจสอบ URL ที่ได้รับการจัดทำดัชนี
- สุดยอด! 5 วิธีในการลบ URL ออกจากการจัดทำดัชนีของ Google
- แนะนำวิธีจัดลำดับความสำคัญของการลบหน้าเว็บเพจ
- ข้อผิดพลาดที่อาจเกิดขึ้นได้
- วิธีการลบคอนเทนต์ที่ไม่ได้อยู่ในเว็บไซต์ของคุณ
- วิธีการลบภาพ
วิธีการตรวจสอบ URL ที่ได้รับการจัดทำดัชนี
โดยปกติแล้วการตรวจสอบเนื้อหาเว็บไซต์ว่าได้รับการจัดทำดัชนีหรือไม่ สามารถใช้ site: search ใน Google (เช่น site:https://ahrefs.com) ได้ ซึ่งสามารถเกิดข้อผิดพลาดได้ โดย site search อาจไม่สามารถบอกได้ว่าหน้าเพจที่แสดงนั้นได้รับจัดทำดัชนีแล้วจริง ๆ
ตัวอย่างเช่น เว็บไซต์หนึ่งมีโดเมนเดิมว่า seomoz.com แต่เปลี่ยนมาเป็น moz.com ซึ่งเมื่อมีผู้ค้นหาเว็บไซต์ใน SERPs จะแสดงผลลัพธ์เป็น moz.com แต่ว่าการค้นหาใน site search จะแสดงเป็น seomoz.org เป็นต้น
การเกิดกรณีดังกล่าวข้างต้น ส่งผลเสียต่อ SEO อาจทำให้เกิดข้อผิดพลาดต่าง ๆ ได้ เช่น เกิดข้อผิดพลาดในการลบโดเมนเดิมที่ไม่ใช้งานแล้วออกจากดัชนี ทำให้ไม่เกิดการป้องกันการส่งสัญญาณของ PageRank เมื่อมีการค้นหาเว็บไซต์จะทำให้ผลลัพธ์ที่แสดงต่อผู้ค้นหายังเป็นเว็บเดิม หรือ site:old-domain.com ทั้งที่ควรจะแสดงเว็บใหม่ที่ได้ย้ายโดเมนไปแล้ว
ดังนั้นจึงอยากแนะนำวิธีที่ดีกว่าสำหรับการใช้ตรวจสอบการจัดทำดัชนีเว็บไซต์ นั่นคือ การใช้ Index Coverage report ของเครื่องมือฟรีอย่าง Google Search Console หรือ เครื่องมือ URL Inspection Tool ที่เหมาะสำหรับการตรวจสอบ Individual URL โดยเครื่องมือเหล่านี้จะสามารถบอกได้ว่าหน้าเว็บไหนที่ได้รับการจัดทำดัชนีเรียบร้อย รวมทั้งให้ข้อมูลเพิ่มเติมว่า Google มีมุมมองต่อเว็บไซต์ของคุณอย่างไร เพื่อแก้ไขให้เป็นไปตามแนวทางและข้อปฏิบัติที่ดีที่สุด
สำหรับเครื่องมือของ Ahrefs สามารถตรวจเช็คได้ที่รายงาน “Top pages” ซึ่งเป็นการจัดอันดับหน้ายอดนิยมของเว็บไซต์ โดยจัดอันดับตามปริมาณการค้นหาของคีย์เวิร์ดหลัก พูดง่าย ๆ ว่าหน้าที่ติดอันดับเหล่านี้ได้รับการจัดทำดัชนีไปเรียบร้อบแล้วนั่นเอง
ซึ่งหากต้องการลบหน้าเพจที่จัดทำดัชนีออกไป ก็สามารถลบ URL ที่ไม่ต้องการออกไปได้ โดยจะมีวิธีอะไรบ้างในการลบออกจากการจัดทำดัชนีของ Google ไปดูกันเลย
สุดยอด! 5 วิธีในการลบ URL ออกจากการจัดทำดัชนีของ Google
วิธีการลบออกไม่ใช่เรื่องยาก ทุกคนสามารถทำได้ด้วยตนเอง และใช้เวลาไม่นาน ซึ่งวันนี้จะมีวิธีทั้งหมด 5 วิธีมาแนะนำ เพื่อเป็นแนวทางในการปฏิบัติที่ดีที่สุดให้กับทุก ๆ คน ดังนี้
วิธีที่ 1 : การลบเนื้อหาออกไป
เป็นการลบหน้าเว็บออก และขึ้นแสดงรหัสสถานะเป็น 404 (ไม่พบหน้าเพจนี้) หรือรหัส 410 (ไม่มีหน้าเพจนี้แล้ว) โดยหน้าเว็บดังกล่าวจะถูกลบออกจากดัชนีเมื่อมีการรวบรวมข้อมูลเว็บไซต์ครั้งใหม่ แต่หากต้องการลบออกและเห็นผลในมันที สามารถเลือกตัวเลือกการลบได้ดังนี้
- “I need more immediate removal” ซึ่งคำสั่งนี้สามารถดูได้ที่ส่วนของ URL Removal tool
- “I need to consolidate signals like links” ซึ่งคำสั่งนี้ให้ดูได้ที่ส่วนของ canonicalization
- “I need the page available for users” ดูที่ noindex หรือ การจำกัดการเข้าถึงเหมาะสำหรับกับสถานการณ์เว็บของคุณหรือไม่
วิธีที่ 2 : ใช้ Noindex
สำหรับ noindex meta robots tag หรือ x-robots header จะตอบสนองต่อเครื่องมือค้นหาโดยใช้บ่งบอกว่าหน้าเพจนี้ได้ถูกลบออกจากดัชนีแล้ว โดยการใช้งานแท็ก meta robots จะเหมาะกับหน้าเว็บที่มีการตอบสนองต่อเครื่องมือค้นหา ส่วน x-rebots เหมสะกับหน้าเว็บที่เป็นรูปแบบไฟล์หรือไฟล์เพิ่มเติม เช่น PDF เป็นต้น
การที่จะทำให้แท็กเหล่านี้ทำงานได้ Google จะต้องสามารถรวบรวมข้อมูลหน้าเว็บได้นั่นเอง ดังนั้นจำเป็นต้องตรวจสอบให้แน่ใจว่าแท็กเหล่านี้ไม่ได้ถูกบล็อกใน robots.txt แต่อย่างไรก็ตามระมีดระวังเอาไว้ว่าการลบหน้าออกจากดัชนีอาจมีผลต่อการรวมลิงก์และส่งสัญญาณของเพจให้กับเครื่องมือค้นหา
ตัวอย่างโค้ดของ meta robots noindex:
<meta name="robots" content="noindex">ตัวอย่างโค้ดของ x-robots noindex tag ที่อยู่ในส่วน Header ของเว็บไซต์
HTTP/1.1 200 OK
X-Robots-Tag: noindexหรืออาจจะใช้ตัวเลือกอื่น ๆ ก็ได้ในการลบหน้าเพจออกจากการจัดทำดัชนี เช่น
- “I don’t want users to access these pages” คำสั่งนี้จะใช้เพื่อจำกัดการเข้าถึงของผู้ค้นหา ซึ่งสามารถเลือกคำสี่งนี้ได้ที่การจำกัดการเข้าถึง
- “I need to consolidate signals like links” ซึ่งคำสั่งนี้ให้ดูได้ที่ส่วนของ canonicalization
วิธีที่ 3 : การจำกัดการเข้าถึง
หากมีจุดประสงค์ต้องการให้ผู้ใช้งานบางคนสามารถเข้าถึงหน้าเพจนี้ได้ แต่ไม่อยากให้เครื่องมือค้นหาอย่าง Google เข้าถึงได้ สามารถกำหนดการจำกัดผู้เข้าถึงได้โดยทำตามขั้นตอนนี้
- ไปที่เข้าสู่ระบบบางประเภท (some kind of login system)
- กำหนด HTTP Authentication ซึ่งจำเป็นต้องใช้รหัสผ่านในการเข้าถึงหน้าเพจ
- กำหนด IP Whitelisting ซึ่งจะอนุญาตให้เฉพาะที่อยู่ IP ทีไ่ด้ระบุไว้เท่านั้นสามารถเข้าถึงหน้าเพจได้
การตั้งค่าดังกล่าวข้างต้นนี้จะส่งผลดีต่อระบบของเว็บไซต์ ไม่ว่าจะเป็นเครือข่ายภายในเนื้อหาที่ใช้งานได้สำหรับสมาชิกเท่านั้น หรือสำหรับเว็บไซต์ชั่วคราว โดยเป็นการจำกัดการอนุญาตให้กลุ่มผู้ใช้เข้าถึงได้ แต่เครื่องมือค้นหาจะไม่สามารถเข้าถึงหน้าเพจนี้ได้เลย และไม่สามารถจัดทำดัชนีได้อีกด้วย
หรือสามารถใช้ตัวเลือกอื่นเพิ่มเติมในการกำจัดผู้เข้าถึง เช่น
- “I need more immediate removal” คำสั่งนี้ถ้าต้องการใช้งาน ให้ไปที่ URL removal tool และทำการลบเนื้อหาออกทันทีถ้าหากเนื้อหาที่ต้องการจำกัดผู้เข้าถึงนั้นถูกแคชไว้
วิธีที่ 4 : ใช้เครื่องมือ URL Removal tool
จริง ๆ แล้วเครื่องมือนี้มีวิธีการทำงานที่แตกต่างไปจากชื่อ ซึ่งมันไม่ใช้ในการลบโดยตรง แต่สามารถใช้สำหรับการซ่อนเนื้อหาชั่วคราว โดย Google คงยังเห็นเนื้อหาและสามารถรวบรวมข้อมูลได้ แต่ว่าหน้าเว็บจะไม่ปรากฏเนื้อหานั้น ๆ ต่อผู้ใช้งาน แต่อย่างไรก็ตามการใช้วิธีนี้จำเป็นต้องใช้วิธีอื่น ๆ ควบคู่ไปด้วย เพื่อป้องกันไม่ให้ผู้ใช้เข้าถึงเนื้อหาที่ยังคงมีลิงก์ปรากฏอยู่นั่นเอง
วิธีที่ 5 : การใช้ Canonical tag
การใช้แท็กนี้เหมาะสำหรับหน้าเว็บที่มีหลายเวอร์ชัน และต้องการรวมสัญญาณต่าง ๆ เช่น ต้องการลิงก์ไปยังเวอร์ชันเดียว ไม่เพียงเท่านั้นจุดประสงค์หลักของการใช้แท็กนี้ก็คือการป้องกันเนื้อหาที่ซ้ำกัน
ซึ่งตัวเลือกการกำหนดรูปแบบของ Canonicalization มีดังนี้
- Canonical tag : ใช้ระบุ URL อื่น ๆ ให้เป็นเวอร์ชันตามรูปแบบบัญญัติหรือเวอร์ชันที่คุณต้องการแสดงเป็นเวอร์ชันหลัก
- Redirects : การเปลี่ยนเส้นทาง จะนำผู้ใช้งานและบอทการค้นหามาจากหน้าหนึ่งไปยังอีกหน้าหนึ่ง ซึ่ง 301 Redirect เป็นการเปลี่ยนเส้นทางที่นิยมมากที่สุด โดยจะช่วยบอกให้กับเครื่องมือค้นหาทราบว่า URL ใดที่ต้องการแสดงในผลการค้นหา
- URL parameter handling : การใช้งานพารามิเตอร์นี้จะนำไปต่อท้าย URL และมักจะมีเครื่องหมายคำถามอยู่ด้วย เช่น ahrefs.com?this=parameter ซึ่งใช้สำหรับบอกเครื่องมือค้นหาว่าเพจเปลี่ยนเนื้อหาไปแล้ว หรือใช้สำหรับติดตามการใช้งานเท่านั้น (แต่ส่วนนี้ได้ยกเลิกการใช้งานไปตั้งแต่ปี 2022 แล้ว ดังนั้นไม่จำเป็นต้องใช้อีกต่อไป)
แนะนำวิธีจัดลำดับความสำคัญของการลบหน้าเว็บเพจ
หากคุณต้องการลบหลายหน้าเพจออกจากดัชนีของ Google แนะนำว่าควรจัดลำดับความสำคัญของหน้าเหล่านั้นก่อน ซึ่งสามารถจัดลำดับได้ดังนี้
- หน้าเพจที่มีความสำคัญระดับสูงสุด (Highest priority) : หน้าเว็บเหล่านี้มักเกี่ยวข้องกับความปลอดภัน หรือข้อมูลที่เป็นความลับของเว็บไซต์ รวมทั้งเนื้อหาที่มีข้อมูลส่วนบุคคล (PII) ข้อมูลลูกค้า หรือข้อมูลที่เป็นกรรมสิทธิ์
- หน้าเพจที่มีความสำคัญระดับปานกลาง (Medium priority) : หน้าเว็บที่มีความสำคัญระดับปานกลางนี้ ส่วนใหญ่จะเกี่ยวกับเนื้อหาที่มีไว้สำหรับผู้ใช้งานเพียงกลุ่มใดกลุ่มหนึ่งโดยเฉพาะ เช่น เนื้อหาสำหรับสมาชิกของเว็บไซต์ หรือข้อมูลเกี่ยวกับการทดสอบ การพัฒนาเว็บไซต์ เป็นต้น
- หน้าเพจที่มีความสำคัญระดับต่ำ (Low priority) : หน้าเว็บเหล่านี้จะเป็นหน้าที่เกี่ยวข้องกับเนื้อหาที่ซ้ำกัน (duplicate content) หรืออาจเป็นหน้าเว็บที่แสดงจาก URL หลายรายการ
ข้อผิดพลาดที่อาจเกิดขึ้นได้จากการลบ
การลบแบบไม่ถูกวิธี ไม่ถูกขั้นตอน อาจจะทำให้เกิดข้อผิดพลาดได้ ซึ่งจะมีอะไรบ้างนั้นมาศึกษาไปพร้อม ๆ กันเลย
ประการที่ 1 : Noindex ใน robots.txt
หากปรากฏ Noindex ในไฟล์ robots.txt จะส่งผลเสียต่อเว็บไวต์ได้ เพราะฉะนั้นต้องแก้ไขให้เร็วด่วย
ประการที่ 2 : การบล็อกไม่ให้เกิดการรวบรวมข้อมูลใน robots.txt
ก่อนอื่นต้องอธิบายว่าการรวบรวมข้อมูล ไม่ใช่การจัดทำดัชนี ซึ่งไม่ได้เป็นขั้นตอนเดียวกัน แม้ว่า Google จะถูกบล็อกไม่ให้รวบรวมข้อมูลหน้าเว็บได้ แต่หากมีลิงก์ภายในหรือภายนอกที่เชื่อมโยงไปยังหน้าเว็บ จะทำให้เกิดการจัดทำดัชนีได้ ถึงแม้ Google จะไม่ทราบเลยว่าหน้านี้มีเนื้อหาเกี่ยวกับอะไร แต่สามารถแสดงหน้าเพจในผลการค้นหาได้
ประการที่ 3 : การใช้ Nofollow
การใช้ Nofollow อาจทำให้เกิดความสับสนกับ noindex แต่อย่างไรก็ตาม Nofollow เป็นเพียงแค่คำแนะนำเท่านั้น ถึงแม้จะช่วยให้หยุดการรวบรวมข้อมูลลิงก์บนหน้าเว็บและแต่ละลิงก์ที่มีแอตทริบิวต์ nofollow แต่อาจจะใช้ไม่ได้แล้วในปัจจุบัน
ขณะนี้ Google สามารถเข้ารวบรวมข้อมูลลิก์เหล่านี้ได้ หากต้องการที่จะทำ นอกจากนี้ Nofollow ยังถูกใช้ในแต่ละลิงก์เพื่อพยายามหยุดไม่ให้ Google รวบรวมข้อมูลไปยังหน้าใดหน้าหนึ่ง และสำหรับการสร้าง PageRank ซึ่งขอย้ำอีกครั้งว่าสิ่งนี้ไม่สามารถใช้ได้อีกต่อไป เนื
โปรดทราบว่าคุณสามารถค้นหาเพจ nofollow จำนวนมากได้ โดยใช้ตัวกรองนี้ใน Page Explorer ในเครื่องมือ Ahrefs’ Site Audit
ต่อมาอยากแนะนำให้คุณตรวจสอบว่าคำสั่ง nofollow ถูกเพิ่มเข้ามาแทนที่ noindex โดยไม่ได้ตั้งใจหรือไม่ และให้เลือกวิธีการลบที่เหมาะสมมากที่สุด นอกจากนั้นยังสามารถค้นหาแต่ละลิงก์ที่ทำเครื่องหมายว่า nofollow ได้โดยใช้ตัวกรองนี้ใน Link Explorer
ประการที่ 4 : Noindex และ Canonical ไปยัง URL อื่น ๆ
แท็กทั้งสองนี้ถ้าไม่ควรใช้ร่วมกัน เนื่องจากจะเกิดการส่งสัญญาณที่ขัดแย้งกันได้ โดย Noindex บอกว่าให้ลบหน้าออกจากดัชนี และ Canonical บอกว่าอีกหน้าหนึ่งเป็นเวอร์ชันที่ต้องการจัดทำดัชนี ซึ่งโดยทั่วไปแล้ว Google จะไม่สนใจต่อ noindex และใช้ Canonical เป็นสัญญาณหลักแทน ดังนั้นแนะนำว่าควรเลือกใช้แท็กอย่างใดอย่างหนึ่งเท่านั้นพอแล้ว
ซึ่งสามารถค้นหาหน้าที่ไม่มีการจัดทำดัชนี โดยมีหน้า Canonical ที่ไม่อ้างอิงตัวเองได้ และสามารถใช้ตัวกรองใน Page Explorer ของเครื่องมือ Ahrefs’ Site Audit ตรวจสอบได้
ประการที่ 5 : Noindex รอให้ Google รวบรวมข้อมูล จากนั้นจะบล็อกไม่ให้รวบรวมข้อมูล
ซึ่งจะมี 2 วิธี ที่อาจเกิดขึ้นได้
- หน้าเว็บถูกบล็อกอยู่แล้ว แต่มีการจัดทำดัชนี ผู้คนเพิ่ม noindex และเลิกบล็อกเพื่อให้ Google สามารถรวบรวมข้อมูลและดู noindex จากนั้นจึงบล็อกหน้าเว็บไม่ให้รวบรวมข้อมูลอีกครั้ง
- ผู้คนเพิ่มแท็ก noindex สำหรับหน้าที่พวกเขาต้องการจะลบออก และหลังจากที่ Google รวบรวมข้อมูลและประมวลผลแท็ก noindex แล้ว พวกเขาก็จะบล็อกหน้าเว็บจากการรวบรวมข้อมูล
ไม่ว่าจะด้วยวิธีใด สถานะสุดท้ายจะถูกบล็อกจากการรวบรวมข้อมูล หากคุณจำได้ก่อนหน้านี้เราได้คุยกันเอาไว้ว่าการรวบรวมข้อมูลไม่เหมือนกับการจัดทำดัชนีอย่างไร แม้ว่าเพจเหล่านี้จะถูกบล็อก แต่ก็ยังสามารถไปอยู่ในดัชนีได้
วิธีการลบคอนเทนต์ที่ไม่ได้อยู่ในเว็บไซต์ของคุณ
จะเกิดอะไรขึ้นถ้าเป็นเนื้อหาที่มีความเกี่ยวข้องกับคุณ แต่ไม่ใช้เนื้อหาบนเว็บไซต์ของคุณ ซึ่งในสหภาพยุโรปเราสามารถที่จะลบเนื้อหาที่มีข้อมูลเกี่ยวกับตรเองได้ ถึงแม้จะไม่ใช้เนื้อหาในเว็บไซต์ของตนเอง โดยต้องได้รับคำสั่งศาลเพื่อให้อนุญาตได้รับสิทธิ์ในการลบข้อมูลออก เช่น ข้อมูลส่วนบุคคล ซึ่งการลบในกรณีต้องมี แบบฟอร์มที่เรียกว่า “Privacy Removal form”
วิธีการลบภาพ
เมื่อต้องการลบรูปภาพออกจาก Google ขอแนะนำวิธีที่ง่ายที่สุด ก็คือการใช้ robots.txt ซึ่งจะช่วยไม่อนุญาตให้รวบรวมข้อมูลรูปภาพ และยังเป็นวิธีที่ถูกต้องในการลบรูปภาพ
สำหรับการลบรูปภาพเดี่ยว ๆ :
User-agent: Googlebot-Image
Disallow: /images/dogs.jpgสำหรับการลบรูปภาพทั้งหมด
User-agent: Googlebot-Image
Disallow: /สรุป
สำหรับวิธีการลบ URL มีอยู่หลากหลายวิธีที่สามารถทำได้ ซึ่งต้องเลือกใช้ให้เหมาะสมสำหรับแต่ละสถานการณ์ เพื่อให้การลบเกิดประสิทธิภาพสูงสุด และไม่ส่งผลเสียต่อเว็บไซต์รวมทั้ง SEO ในภายหลัง โดยบทความนี้ได้มีการแสดงแผนผังแนวทางปฏิบัติที่ดีที่สุดสำหรับวิธีการลบ URL ออกจากการจัดทำดัชนี ให้ทุกคนได้ดูเป็นแนวทางข้อปฏิบัติที่ดีที่สุดในการนำเนื้อหาออกจากเว็บไซต์ หรือการซ่อนเนื้อหาเพื่อไม่ให้เกิดการรวบรวมข้อมูล และเพื่อลบหน้าเพจที่ไม่ต้องการออกจากการจัดทำดัชนีของ Google
