วิธีดาวน์โหลดทุกหน้าของเว็บไซต์ใน Linux

Wget เป็นซอฟต์แวร์โอเพ่นซอร์สที่ทรงพลังบน Linux ที่สามารถใช้ดาวน์โหลดเนื้อหาจากเว็บไซต์ บางครั้งมีความจำเป็นต้องทำสำเนาเนื้อหาทั้งหมดบนเว็บไซต์บางทีอาจสร้างมิเรอร์ของเว็บไซต์หรือเก็บเนื้อหาปัจจุบันไว้ใช้ในภายหลัง ด้วย Wget ทั้งเว็บไซต์สามารถดาวน์โหลดได้ด้วยคำสั่งแบบบรรทัดเดียว

1

ตรวจสอบให้แน่ใจว่าติดตั้ง wget โดยใช้คำสั่ง "which" การพิมพ์ "wget" โดยไม่มีเครื่องหมายอัญประกาศในเทอร์มินัลจะแสดงตำแหน่งที่ติดตั้ง Wget บนคอมพิวเตอร์ Linux หากไม่ได้ติดตั้ง Wget ให้ใช้เครื่องมือติดตั้งซอฟต์แวร์การกระจายเช่น Yum หรือ Apt-get เพื่อติดตั้ง Wget

2

ตั้งค่าสถานะเพื่อทำมิเรอร์เว็บไซต์ Wget มีแฟล็กจำนวนมากที่สามารถตั้งค่าให้เปลี่ยนพฤติกรรมของโปรแกรมได้ ใช้แฟล็ก "-m" เพื่อดาวน์โหลดทั้งเว็บไซต์ ตัวอย่างเช่นพิมพ์:

wget -m www.fake-web-site.com

สิ่งนี้จะสร้างสำเนาของ "www.fake-web-site.com" ในคอมพิวเตอร์ของคุณ โดยค่าเริ่มต้น Wget จะสร้างไดเรกทอรีที่มีชื่อเดียวกับเว็บไซต์ภายในไดเรกทอรีที่ถูกเรียกใช้งาน

3

ตรวจสอบว่าเนื้อหาได้มาจากการเปิดสำเนาโลคัลของเพจในเบราว์เซอร์

สิ่งที่จำเป็น

• wget

คำเตือน

• Wget สามารถใช้แบนด์วิดท์จำนวนมากเมื่อร้องขอเนื้อหาจากเซิร์ฟเวอร์ นอกจากนี้ไฟร์วอลล์บางตัวสามารถ จำกัด การร้องขออย่างรวดเร็วจากไคลเอนต์เดียวว่าเป็นการโจมตีซึ่งอาจส่งผลให้ที่อยู่ IP ของคุณถูกบล็อกจากเซิร์ฟเวอร์ชั่วคราว ตรวจสอบให้แน่ใจว่าตั้งค่าสถานะ -w เพื่อ จำกัด เวลาระหว่างการร้องขอ ตัวอย่างเช่น:
• wget -m -w 10 www.fake-web-site.com
• จะทำให้ Wget รอ 10 วินาทีก่อนที่จะขอไฟล์ที่ตามมาจากเซิร์ฟเวอร์