یادگیری ماشین حوزه‌ای پیچیده و گسترده است که در آن تنظیم صحیح ابرپارامترها می‌تواند تفاوت بزرگی در عملکرد مدل ایجاد کند. یکی از این ابرپارامترها که اغلب نادیده گرفته می‌شود، "صبر" یا"Patience" است. در این مقاله، به بررسی دقیق‌تری از مفهوم صبر، کاربردهای آن و نحوه انتخاب مقدار مناسب برای آن می‌پردازیم.

مفهوم Patience

صبر یا Patience در یادگیری ماشین به تعداد دوره‌هایی اطلاق می‌شود که قبل از متوقف کردن آموزش، در صورت عدم بهبود در معیار اعتبارسنجی، منتظر می‌مانیم. این مفهوم به ویژه در روش‌هایی مانند توقف زودهنگام (early stopping) کاربرد دارد که هدف آن جلوگیری از بیش‌برازش مدل است.

کاربرد Patience در توقف زودهنگام

توقف زودهنگام یک تکنیک محبوب برای جلوگیری از بیش‌برازش مدل است. در این روش، آموزش مدل زمانی متوقف می‌شود که عملکرد آن روی مجموعه اعتبارسنجی بهبود نمی‌یابد. پارامتر صبر در اینجا تعیین می‌کند که چند دوره بدون بهبود را باید تحمل کنیم قبل از اینکه آموزش را متوقف کنیم.

تنظیم مقدار Patience

مقدار Patience یک ابرپارامتر است که به تنظیمات مدل، نوع داده‌ها و هدف نهایی آموزش وابسته است. مقدار حداقل (۰) به این معنی است که آموزش بلافاصله بعد از اولین دوره بدون بهبود متوقف می‌شود. در مقابل، مقدار حداکثر (۱۰۰۰۰۰) به مدل اجازه می‌دهد تا بدون هیچ بهبودی تا ۱۰۰۰۰۰ دوره آموزش ببیند.

انتخاب مقدار بهینه

انتخاب مقدار بهینه برای Patience نیاز به آزمایش و ارزیابی دقیق دارد. شروع با مقادیر کوچک (بین ۵ تا ۲۰) و سپس تنظیم تدریجی بر اساس عملکرد مدل روی مجموعه اعتبارسنجی، یک رویکرد معمول است. هدف این است که تعادلی بین یادگیری الگوهای معنادار و جلوگیری از بیش‌برازش برقرار شود.

مثال عملی:

 اعمال ابرپارامتر Patience در توقف زودهنگام با استفاده از Keras

در ادامه قطعه کدی که ابرپارامتر "Patience" را در آموزش یک مدل یادگیری عمیق با استفاده از کتابخانه Keras اعمال می‌کند، آورده شده است. این کد نشان می‌دهد که چگونه می‌توان از توقف زودهنگام با استفاده از پارامتر Patience برای بهبود عملکرد مدل استفاده کرد.

این کد شامل مراحل زیر است:

·  ساختن یک مدل ساده با استفاده از  Keras

·  کامپایل کردن مدل با استفاده از Adam به عنوان بهینه‌ساز و categorical_crossentropy به عنوان تابع هزینه.

·  تعریف ابرپارامتر Patience (در اینجا ۱۰ دوره).

·  تنظیم توقف زودهنگام با استفاده از EarlyStopping و اعمال پارامتر Patience .

·  آموزش مدل با استفاده از توقف زودهنگام.

·  ارزیابی مدل روی داده‌های تست و چاپ نتایج.

این روش به مدل اجازه می‌دهد که تا زمانی که بهبود در عملکرد اعتبارسنجی مشاهده شود، آموزش ببیند و در صورت عدم بهبود، آموزش متوقف شود تا از بیش‌برازش جلوگیری شود.

پی نوشت:

Patience یکی از ابرپارامترهای حیاتی در یادگیری ماشین است که نقش مهمی در عملکرد نهایی مدل ایفا می‌کند. با تنظیم صحیح مقدار Patience، می‌توان از بیش‌برازش جلوگیری کرد و تعمیم‌پذیری مدل را بهبود بخشید. امیدواریم این مقاله توانسته باشد به درک بهتر مفهوم صبر و نحوه استفاده از آن در یادگیری ماشین کمک کند.