دستورات Wget: نمونه ها. برنامه کنسول برای دانلود فایل ها بر روی شبکه Wget

به نظر می رسد که در جهان که نیمی از جمعیت جهان به طور فعال از رایانه ها استفاده می کنند و به رابط های گرافیکی شیک و ویژگی های غنی از چنین عادت کرده اند، هیچ جایگاهی برای برنامه های متن وجود ندارد. حدود 20 سال پیش، رابط کامپیوتر یک پنل سیاه وحشتناک بود که چیزی جز یک مجموعه از نمادهای سفید نمایش داده نمی شد و تمام کنترل از طریق دستورات متن انجام شد. به طور شگفت انگیزی، این برنامه ها خیلی زشت هستند، بنابراین آنها عملکردی و قابل اعتماد هستند.

Wget چیست؟

Wget (همچنین به نام GNU Wget Linux) یک برنامه کنسول، غیر تعاملی برای کار با فایل ها و صفحات وب است. در واقع، این برنامه برای دانلود فایل ها از اینترنت است، که مشخصه ای از عدم رابط گرافیکی و تعدادی از ویژگی های مدیریتی است که برای راه حل های مدرن معمول نیست.

این برنامه توسط مهندس کرواتی Hvvoji Niksic توسعه داده شده و در حال حاضر توسعه توسط Giuseppe Skrivano و جامعه لینوکس پشتیبانی می شود. اولین ابزار ساخت (که هنوز هم GetURL نامیده می شود) در ژانویه سال 1996 معرفی شد. این برنامه در زبان برنامه نویسی C نوشته شده است و تحت مجوز GNU منتشر شده است. در ابتدا، این ابزار بر روی پلت فرم لینوکس منتشر شد. با گذشت زمان، این ابزار به بسیاری از زبانها ترجمه شده و به همه سیستم عاملهای محبوب، از جمله Wget برای ویندوز 7 (و جدیدتر)، Wget for MacOS و غیره منتقل شده است.

این برنامه تعاملی نیست، به این معنی که هر فرایندی که در توانایی های خود آغاز شده نمی تواند کنترل شود، می توان آن را با تماس با ابزارهای مدیریت سیستم عامل مدیریت کرد.

با وجود این واقعیت که مرورگرهای مدرن معمولا دارای یک مدیر دانلود ساخته شده اند ، آنها هنوز هم برای تعامل تعاملی طراحی شده اند، بنابراین کار در حالت دستی مشکل می شود. برعکس، Wget به تعدادی از فرآیندها اجازه می دهد تا خودکار شوند. برای مثال، امکان تهیه یک سند متن با لیستی از صفحات وب به طور پیش فرض فراهم است، که با استفاده از آن می توانید چندین فایل و صفحات را در یک بار دانلود کنید.

توابع اصلی این برنامه

با این حال، در وهله اول، این یک برنامه برای بارگیری فایلهاست که به وضوح از عملکرد اصلی آن است.

Wget می تواند هر گونه مواد از اینترنت را، به جای آن اسناد، فایل اجرایی یا تمام صفحات وب در قالب HTML (توسط پروتکل های مختلف) دانلود کنید. فایل ها را از دایرکتوری ها از طریق FTP دانلود کنید.

یک مشتری می تواند یک بارگیری بازگشتی انجام دهد، به طور خودکار از طریق لینک ها در یک وب سایت خاص (یا وب سایت های چندگانه)، در حالی که ساختار اصلی صفحه وب را بازیابی می کند، انجام می شود. امکان مشاهده وب سایت های دانلود شده بدون دسترسی به شبکه وجود دارد (به طور پیش فرض به عنوان آدرس برای مشاهده آنلاین دانلود شده است).

در ابتدا، Wget سازگاری با انواع ارتباطات آهسته و ناپایدار دارد، بنابراین ویژگی مهم آن توانایی بازگرداندن یک فایل خراب شده است (این امکان وجود دارد که سرور از هدرهای RANGE پشتیبانی کند). همچنین Wget می تواند وضعیت سرور (موجودی خود) را برای دانلود و به روز رسانی (Wget چک هدر فایل و پشتیبانی از آخرین نسخه) فایل ها و صفحه وب را کنترل می کند.

این برنامه همچنین دارای تعدادی از ویژگی های معمولی برای ابزارهای عنکبوتی است که وبسایت ها و سرورهای مختلف را برای حضور برخی از فایل ها بر روی آنها مورد بررسی قرار می دهد.

سیستم عامل های پشتیبانی شده

Wget Linux پایه ای برای این محصول شد. همانطور که در بالا ذکر شد، این ابزار در ابتدا تنها در لینوکس کار می کرد، اما به سرعت به محبوبیت رسید و با سایر سیستم ها سازگار بود. به عنوان مثال، شما می توانید نسخه Wget را برای ویندوز 7 و سیستم عامل های مدرن تر پیدا کنید و مجموعه ای با یک رابط گرافیکی وجود دارد. در مورد لینوکس، این برنامه اغلب در توزیع قرار می گیرد. پایانه ها در برخی از لینوکس ابتدا از دستورات Wget پشتیبانی می کنند. اوبونتو، فدورا، openSUSE و دیگر توزیعهای مصرفی با این برنامه، به نظر میرسد، خارج از جعبه هستند. بعد، برنامه را دقیق تر در نظر بگیرید.

دستورات Wget: فهرست پارامترهای اساسی

لیست اولیه دستورات شامل موارد زیر است:

• -V - به شما امکان می دهد که کدام نسخه از برنامه در حال استفاده است.
• -h- لیست کاملی از دستورات برای کار با برنامه را نشان می دهد.
• -b - اجازه می دهد تا برنامه را به پس زمینه قرار دهید؛

فهرست گزینه های پیام

دستورات Wget به شما اجازه می دهد تا به طور کامل اطلاعات نمایش داده شده را کنترل کنید. در اینجا لیست آنها است:

• -o logfile - یک فایل log ایجاد می کند که پروسه کل برنامه را ثبت می کند.
• -a logfile - به شما اجازه می دهد یک فایل ورودی موجود اضافه کنید به جای ایجاد یک جدید؛
• -d - اطلاعاتی را که برای توسعه دهندگان و اشکال زدایی لازم است را نمایش می دهد (به حل مشکلات و اصلاح اشتباهات در کار مشتری کمک می کند)
• -q - نمایش پیغام را غیرفعال می کند
• -v - این گزینه به طور پیش فرض فعال می شود، گزارش دقیقی را در مورد تمامی فرآیندهای رخ می دهد در برنامه ارائه می دهد (در زمان واقعی)؛
• -nv - تا حد زیادی اطلاعات دریافت شده توسط کاربر در پیام را کاهش می دهد. تنها ضروری ترین اطلاعات و پیام های خطا باقی می ماند
• -i file (با مسیر به فایل) - این دستور اجازه می دهد تا اسکن یک فایل، استخراج یک لینک از آن و انجام یک دانلود؛ شما می توانید از فایل های فرمت های مختلف از جمله HTML استفاده کنید، اما اگر از این دستور استفاده می کنید، مسیر فایل را در خط فرمان مشخص نمی کنید.
• -f - باعث می شود برنامه به عنوان فایل HTML را بخواند؛ هنگام استفاده از این فرمان برای کار با یک سند HTML محلی، ممکن است خطایی برای جلوگیری از آن رخ دهد، فقط در سند

فهرست گزینه های بوت

دستورات پایه برای کار با دانلود فایل ها با کمک Wget. در اینجا مجموعه اصلی آنها است:

• --bind-address = ADDRESS - این دستور به شما اجازه می دهد تا اطلاعات مربوط به ADDRESS دستگاه محلی را انتقال دهید. هنگام استفاده از اتصال TCP / IP، دستورالعمل لازم است تا آدرس IP دقیق (اگر بیش از یک) وجود دارد.
• -t شماره (مشخص کردن شماره) - به کاربر اجازه می دهد تا تعداد دفعات دانلود را انتخاب کند. برای جلوگیری از تکرار، شما باید مقدار عدد صفر را مشخص کنید.
• -nc - این دستور اجازه می دهد تا وضعیت قبلی فایل دانلود شده را بازیابی کنید در صورتی که شبکه نتواند و دانلود قطع شود. اگر شما از یکی از دستورات boot (-N، -nc، -r استفاده نکنید)، Wget یک نسخه از آن را ایجاد می کند و دوباره شروع به بارگذاری می کند. گزینه -r به شما امکان می دهد فایل های موجود را جایگزین کنید.
• -c همچنین آپلود فایل را در صورت از دست دادن اتصال تسهیل می کند (و هنگامی که Wget خود تلاش می کند برای بازگرداندن اتصال متوقف شود). کافی است که دستور داده شده قبل از پیوند به فایل مشخص شود. اگر یک فایل مشابه در دایرکتوری در حال استفاده وجود داشته باشد، Wget آن را شناسایی می کند و به صورت خودکار تصمیم می گیرد که آن را راه اندازی مجدد کنید. فرمان را می توان تنها در آن سرور ها که در آن پشتیبانی از هدر RANGE وجود دارد استفاده می شود.

• --progress - اجازه می دهد تا شما را انتخاب کنید نوع نمایش صفحه نمایش دانلود. شما می توانید -progress = bar یا progress = dot را مشخص کنید.
• --spider - فرمان دانلود فایل را جایگزین می کند تا حضور آن را در سرور بررسی کند.
• -w (در ثانیه) - فاصله زمانی بین بارگیری را نشان می دهد.
• -q (در تعداد کيلوبايت يا مگابايت مشخص شده است) - به شما اجازه مي دهد اندازه داده هاي بارگيري را با دقت تنظيم کنيد و حجم زياد را محدود کنيد. با این وجود، لازم به ذکر است که بدون توجه به مجموعه سهمیه، یک فایل بارگیری خواهد شد (یعنی با یک فایل این گزینه کار نخواهد کرد، مهم نیست چقدر سخت است).

لیست پارامترهای HTTP

• --http-user = و --http-passwd = - اجازه می دهد که ورود و رمز عبور برای مجوز در منبع وب که از آن فایل ها دانلود می شود مشخص شود.
• -C = روشن / خاموش - اجازه می دهد تا شما را قادر به ذخیره داده ها در سمت سرور.
• - cookies = روشن / خاموش - همانطور که برای کش، فقط برای کوکی ها. اجازه می دهد یا برای متوقف کردن و یا بازگشت به تبادل اطلاعات کوکی مورد نیاز برای سرور برای حفظ آمار بازدید کننده. به طور پیش فرض این گزینه فعال است، اما کوکی ها به هارد دیسک ذخیره نمی شوند.
• - ذخیره کوکی ها - به شما امکان می دهد کوکی ها را ذخیره کنید (تنها اطلاعات تازه).
• --proxy-user و -proxy-passwd - به شما اجازه می دهد ورود و رمز عبور را برای مجوز در سرور پروکسی مشخص کنید (اگر کسی درگیر آن است).

فهرست تنظیمات FTP

گزینه های پیشرفته برای کار با Wget. دستورات FTP:

• -nr - حذف فایل های موقت از دایرکتوری فهرست که خود به خودی هنگام کار با FTP ایجاد می شود؛
• -g on / off - اجازه می دهد تا ابزار برای استفاده از کاراکترهای خاص در دایرکتوری FTP؛
• --passive-ftp - این فرمان را می توان با استفاده از فایروال برای فعال کردن حالت غیرفعال FTP (زمانی که کاربر خود مسئول برقراری ارتباط با سرور است) استفاده می شود.

دستورات Wget: نمونه هایی از استفاده

ساده ترین و رایج ترین مثال برای کار با برنامه، البته، دانلود فایل ها است. برای آزمایش دستورات Wget، می توانید با یک ساده شروع کنید، یک پیوند را به یک فایل در شبکه پیدا کنید، و یک ترمینال با مسیر دقیق و کامل به فایل * وارد کنید.

برای ادامه دانلود فایل، از Wget -c استفاده کنید * یک پیوند مشخص مسیر دقیق و کامل به فایل *.

اگر یک لیست برنامه ریزی شده با پیوندهایی به فایل ها و اسناد وجود داشته باشد، می توانید از دستور wget -i filelist.txt استفاده کنید.

در مورد بارگیری صفحات وب، همه چیز در اینجا به مراتب پیچیده تر است، اما در عین حال تعداد امکانات به طور قابل توجهی افزایش می یابد. برای هر بار که نیازی به بارگذاری وب سایت ندارید، پارامترها را دوباره وارد کنید، می توانید اسکریپت ها را ایجاد کنید یا همه تنظیمات را به یک فایل .wgetrc تنظیم کنید.

برای ذخیره یک صفحه وب به عنوان لینک (دشوار است برای باز کردن آنها را در دستگاه محلی)، شما می توانید از دستور Wget -m * برای مشخص کردن مسیر دقیق و کامل به فایل * استفاده کنید.

برای ایجاد همان صفحه برای مشاهده بدون اتصال به اینترنت، می توانید لینک Wget -r -10 -k * را با مسیر دقیق و کامل به فایل * استفاده کنید.

خطای فرمت Wget یک فرمان یافت نشد می تواند به معنای هر نوع خطای و پارامتر نادرست مشخص شده باشد.