راهنمای گزارش‌دهی GAMER

استفاده از ابزارهای هوش مصنوعی مولد در تحقیقات پزشکی

درباره GAMER: فرایند توسعه و اهمیت

راهنمای GAMER حاصل یک فرایند دقیق و مبتنی بر اجماع بین‌المللی است:

لینک دریافت مقاله GAMER

مقدمه: اهمیت بیانیه GAMER

در سال‌های اخیر، استفاده از ابزارهای هوش مصنوعی مولد (Generative Artificial Intelligence - GAI)، به‌ویژه پس از عرضه ChatGPT، در تحقیقات پزشکی به‌طور فزاینده‌ای افزایش یافته است. این ابزارها پتانسیل قابل توجهی در کمک به وظایف مختلف تحقیقاتی مانند نگارش مقاله، تولید کد، ویرایش زبان، استخراج داده‌ها و تجزیه و تحلیل داده‌ها دارند.

با این حال، عدم وجود استانداردهای گزارش‌دهی منجر به نگرانی‌هایی در مورد شفافیت، یکپارچگی علمی و قابلیت اطمینان داده‌ها شده است. بیانیه GAMER (مخفف Generative Artificial intelligence tools in MEdical Research) با هدف ارائه یک راهنمای جامع و استاندارد برای گزارش استفاده از GAI در تحقیقات پزشکی تدوین شده است.

چرا به راهنمای GAMER نیاز داریم؟

چک‌لیست GAMER: ۹ آیتم کلیدی برای گزارش‌دهی

برای مشاهده توضیحات و مثال‌های هر آیتم، روی عنوان آن کلیک کنید.

آیتم ۱

اعلام عمومی (General declaration)

سوال چک‌لیست: آیا از هرگونه ابزار GAI (مانند مدل‌های زبانی بزرگ یا مدل‌های بصری بزرگ) در هر بخش یا مرحله‌ای از این مقاله یا مطالعه استفاده کرده‌اید؟

توضیح علمی: این آیتم بر اهمیت شفافیت کامل در مورد استفاده یا عدم استفاده از ابزارهای GAI تاکید دارد. اعلام صریح، به خوانندگان و داوران امکان می‌دهد تا زمینه استفاده از این فناوری را درک کرده و ارزیابی دقیق‌تری از پژوهش داشته باشند. عدم گزارش می‌تواند منجر به سوءتفاهم یا حتی اتهام عدم صداقت علمی شود. این راهنما مشخصاً بر ابزارهای مولد مانند ChatGPT، Claude، Gemini و موارد مشابه تمرکز دارد و ابزارهای صرفاً ترجمه‌ای (مانند Google Translate) یا موتورهای جستجوی عمومی را شامل نمی‌شود.

مثال‌های ملموس:

  • "در طول تهیه این مقاله، نویسندگان از ChatGPT (نسخه ۳.۵) و PaperPal برای اصلاح اشتباهات تایپی و گرامری استفاده کردند."
  • "این مطالعه به بررسی استفاده از ChatGPT-4 (OpenAI، تاریخ دسترسی: ۱۵ ژوئیه ۲۰۲۳) در شناسایی نشانگرهای زیستی بالقوه برای بیماری آلزایمر بر اساس تحلیل مقالات منتشر شده می‌پردازد."
  • "هیچ‌گونه ابزار هوش مصنوعی مولد در هیچ‌یک از مراحل طراحی مطالعه، جمع‌آوری داده، تحلیل یا نگارش این مقاله استفاده نشده است."
آیتم ۲

مشخصات ابزار GAI (GAI tool specifications)

سوال چک‌لیست: ابزار(های) GAI مورد استفاده، نسخه‌ها و/یا تاریخ‌های انتشار آن‌ها و تاریخ(ها)/دوره استفاده از ابزارها را مشخص کنید.

توضیح علمی: ابزارهای GAI به سرعت در حال تحول هستند و نسخه‌های مختلف ممکن است قابلیت‌ها و محدودیت‌های متفاوتی داشته باشند. ارائه جزئیات دقیق شامل نام ابزار (مثلاً ChatGPT، DALL-E 2)، شرکت سازنده (مثلاً OpenAI، Google)، نسخه دقیق (مثلاً GPT-4، GPT-3.5-turbo-0613) و تاریخ یا دوره زمانی استفاده، برای تکرارپذیری و ارزیابی اعتبار نتایج حیاتی است. همچنین، اگر از طریق API به ابزار دسترسی پیدا شده، این موضوع باید ذکر شود و پارامترهای کلیدی مانند "دما" (temperature)، حداکثر طول توکن، و سایر تنظیمات خاص که بر خروجی تأثیرگذار بوده‌اند، باید گزارش شوند.

مثال‌های ملموس:

  • "ما از مدل GPT-4 (OpenAI، نسخه دسترسی شده در تاریخ ۲۰ مه ۲۰۲۳ از طریق رابط کاربری وب) برای تولید پیش‌نویس اولیه بخش مقدمه استفاده کردیم. تمام پرس‌وجوها توسط محقق اول (الف.ب) انجام شد."
  • "برای تحلیل تصاویر آسیب‌شناسی، از یک مدل بینایی رایانه‌ای مبتنی بر معماری GAN که با استفاده از پلتفرم Google Cloud AI (نسخه Vertex AI، دوره استفاده: ژانویه تا مارس ۲۰۲۴) توسعه داده شده بود، بهره بردیم."
  • "پاسخ‌ها به سوالات بالینی با استفاده از دو نسخه ChatGPT (نسخه GPT-3.5، تاریخ استفاده: ۱۰-۱۲ ژوئن ۲۰۲۳ و نسخه GPT-4.0، تاریخ استفاده: ۱۵-۱۷ ژوئن ۲۰۲۳، هر دو از OpenAI، کالیفرنیا، ایالات متحده آمریکا) و Google Bard (Google، Alphabet، تاریخ استفاده: ۱۱ ژوئن ۲۰۲۳) تولید شد."
آیتم ۳

تکنیک‌های اعلان‌دهی (Prompting techniques)

سوال چک‌لیست: توضیح دهید که آیا از یک تکنیک اعلان‌دهی خاص برای تولید هرگونه محتوای مقاله یا انجام تجزیه و تحلیل در طول مطالعه استفاده شده است. لطفاً پاسخ‌های ویرایش نشده به اعلان‌ها را نیز ارائه دهید.

توضیح علمی: کیفیت و ساختار "اعلان" (prompt) ورودی به ابزار GAI تأثیر مستقیمی بر کیفیت، دقت و مرتبط بودن خروجی دارد. "مهندسی اعلان" یک مهارت کلیدی است. گزارش تکنیک‌های اعلان‌دهی (مثلاً استفاده از نقش‌دهی، few-shot prompting، chain-of-thought prompting) و ارائه متن دقیق اعلان‌های اصلی و پاسخ‌های خام و ویرایش نشده ابزار، به خوانندگان امکان می‌دهد فرآیند تعامل با GAI را درک کرده و نتایج را بهتر ارزیابی کنند. این امر به ویژه برای تکرارپذیری و بررسی سوگیری‌های احتمالی مهم است. در صورت امکان، این موارد می‌توانند در مواد تکمیلی ارائه شوند.

مثال‌های ملموس:

  • "برای تولید خلاصه مقالات، از تکنیک 'اعلان‌دهی با نقش' (role-prompting) استفاده شد. اعلان نمونه: 'شما یک متخصص پزشکی با ۲۰ سال تجربه در زمینه انکولوژی هستید. لطفاً مقاله زیر را در ۳۰۰ کلمه خلاصه کنید و بر یافته‌های کلیدی و محدودیت‌های آن تمرکز نمایید: [متن مقاله]'. متن کامل اعلان‌ها و پاسخ‌های خام در پیوست الف ارائه شده است."
  • "ما یک گردش کار مبتنی بر LLM را با استفاده از متدولوژی مهندسی سیستم‌ها و فرآیند 'مهندسی اعلان' مارپیچی توسعه دادیم و از API OpenAI برای پرس‌وجوی دسته‌ای از ChatGPT استفاده کردیم. اعلان نهایی برای استخراج داده‌های مربوط به عوارض جانبی داروها در شکل ۲ ارائه شده است."
  • "پاسخ‌های ویرایش نشده به تمام اعلان‌های مورد استفاده برای تولید کد تحلیل آماری در R، در مخزن گیت‌هاب پروژه (لینک ارائه شده) موجود است."
آیتم ۴

اعلام مدل(های) GAI جدید توسعه‌یافته

سوال چک‌لیست: اگر یک ابزار GAI جدید بر اساس یک مدل هوش مصنوعی موجود توسعه یافته یا تنظیم دقیق (fine-tuned) شده است، نام و نسخه مدل اصلی را گزارش دهید.

توضیح علمی: در صورتی که محققان یک مدل GAI جدید ایجاد کرده یا یک مدل موجود را برای اهداف خاص پژوهش خود "تنظیم دقیق" (fine-tuning) کرده باشند (مثلاً با استفاده از داده‌های اختصاصی خود)، باید جزئیات مدل پایه (original model) که این توسعه بر اساس آن انجام شده، گزارش شود. این شامل نام مدل پایه، نسخه آن، و هرگونه تغییرات یا معماری خاصی که اعمال شده است، می‌شود. این اطلاعات برای درک نوآوری پژوهش و ارزیابی روش‌شناسی توسعه مدل ضروری است. این آیتم برای استفاده از ابزارهای عمومی و از پیش آموزش‌دیده مانند ChatGPT استاندارد، کاربرد ندارد مگر اینکه توسط کاربر fine-tune شده باشند.

مثال‌های ملموس:

  • "ما یک مدل زبانی تخصصی برای تشخیص زودهنگام سپسیس در بخش مراقبت‌های ویژه توسعه دادیم. این مدل با تنظیم دقیق مدل LLaMA-2-7B (Meta AI) بر روی مجموعه داده‌ای شامل ۱۰۰۰۰ گزارش پرونده الکترونیک سلامت ناشناس‌سازی شده از بیمارستان ما، آموزش داده شد."
  • "برای بهبود دقت پیش‌بینی پاسخ به درمان در بیماران مبتلا به افسردگی، مدل GPT-3 (davinci-002) شرکت OpenAI با استفاده از مجموعه داده‌ای از مصاحبه‌های بالینی ساختاریافته، تنظیم دقیق (fine-tuned) شد. جزئیات فرآیند تنظیم دقیق در بخش روش‌ها شرح داده شده است."
آیتم ۵

نقش ابزار GAI در مطالعه

سوال چک‌لیست: نقش ابزارهای GAI را در تمام مراحلی از این مطالعه که در آن‌ها استفاده شده‌اند (شامل نگارش مقاله) شرح دهید.

توضیح علمی: ابزارهای GAI می‌توانند در مراحل مختلف یک پروژه تحقیقاتی، از ایده‌پردازی و طراحی مطالعه گرفته تا جمع‌آوری داده، تحلیل، تفسیر نتایج و نگارش مقاله، نقش ایفا کنند. ضروری است که نقش دقیق ابزار در هر مرحله به وضوح مشخص شود. آیا ابزار برای تولید محتوای اولیه، ویرایش و بهبود متن، تولید کد، تحلیل داده‌های کیفی، یا خلاصه‌سازی ادبیات تحقیق استفاده شده است؟ این شفافیت به ارزیابی میزان مشارکت GAI و مسئولیت نویسندگان انسانی کمک می‌کند.

مثال‌های ملموس:

  • "از ChatGPT (GPT-4) برای کمک به طوفان فکری اولیه در مورد سوالات تحقیق و شناسایی کلمات کلیدی برای جستجوی ادبیات استفاده شد. همچنین، برای تولید پیش‌نویس اولیه بخش بحث و بررسی مقاله از این ابزار کمک گرفته شد که سپس توسط نویسندگان به طور کامل بازبینی و ویرایش گردید."
  • "ابزار Code Interpreter در ChatGPT Plus (نسخه ژوئیه ۲۰۲۳) برای انجام تحلیل‌های آماری اولیه (آمار توصیفی و آزمون‌های t) و تولید نمودارهای اولیه استفاده شد. کدهای تولید شده توسط یک آمارشناس انسانی بررسی و تأیید شدند."
  • "در این مطالعه، از یک ابزار GAI مبتنی بر مدل‌های زبانی بزرگ برای استخراج اطلاعات مربوط به دموگرافیک بیماران و نتایج آزمایشگاهی از پرونده‌های پزشکی بدون ساختار استفاده شد."
آیتم ۶

بخش‌های کمک گرفته از هوش مصنوعی در مقاله

سوال چک‌لیست: بخش یا پاراگراف‌های خاصی از مقاله را که ابزارهای GAI در آن‌ها مشارکت داشته‌اند، گزارش دهید.

توضیح علمی: علاوه بر ذکر نقش کلی GAI (آیتم ۵)، این آیتم بر لزوم مشخص کردن دقیق مکان‌هایی در مقاله (مانند بخش‌های خاص، پاراگراف‌ها، جداول یا شکل‌ها) که محتوای آن‌ها با کمک GAI تولید یا اصلاح شده، تأکید دارد. این امر به خوانندگان کمک می‌کند تا بفهمند کدام قسمت‌ها بیشتر تحت تأثیر GAI بوده‌اند. اگر ابزار صرفاً برای ویرایش کلی زبان در کل متن استفاده شده، ممکن است ذکر این موضوع به صورت کلی کافی باشد، اما برای تولید محتوا یا تحلیل، دقت بیشتری لازم است.

مثال‌های ملموس:

  • "ابزار ChatGPT در نگارش پاراگراف‌های اول و دوم بخش مقدمه و همچنین در تهیه پیش‌نویس اولیه جدول ۱ (ویژگی‌های پایه بیماران) مشارکت داشته است."
  • "تحلیل داده‌های کیفی گزارش شده در بخش نتایج (زیربخش ۳.۲: تجربیات بیماران) با استفاده از یک ابزار GAI برای شناسایی تم‌های اولیه انجام شد. این تم‌ها سپس توسط دو محقق انسانی بازبینی و نهایی شدند."
  • "شکل ۱، که یک نمودار شماتیک از مکانیسم پیشنهادی بیماری را نشان می‌دهد، با استفاده از ابزار Midjourney (نسخه ۵.۲) بر اساس اعلان‌های ارائه شده توسط نویسندگان، تولید شده است."
آیتم ۷

تأیید محتوا (Content verification)

سوال چک‌لیست: توضیح دهید که چگونه محتوای تولید شده توسط ابزارهای GAI تأیید و (در صورت لزوم) اصلاح شده است.

توضیح علمی: محتوای تولید شده توسط GAI ممکن است حاوی اطلاعات نادرست، سوگیری، یا "توهمات" (hallucinations) باشد. بنابراین، تأیید دقیق و بازبینی انسانی محتوای تولید شده توسط GAI یک مرحله حیاتی و ضروری است. نویسندگان باید فرآیندی را که برای بررسی صحت، دقت، کامل بودن و مناسب بودن محتوای تولید شده توسط GAI به کار برده‌اند، شرح دهند. این فرآیند می‌تواند شامل بررسی منابع، مقایسه با دانش موجود، یا تأیید توسط متخصصان باشد. اگر اصلاحاتی انجام شده، باید به طور کلی به آن‌ها اشاره شود.

مثال‌های ملموس:

  • "تمام پیش‌نویس‌های متنی تولید شده توسط ChatGPT توسط حداقل دو نفر از نویسندگان (الف.ب و ج.د) به دقت بررسی، از نظر صحت علمی و منابع مورد استفاده تأیید، و در صورت نیاز اصلاح شدند. مسئولیت نهایی محتوا با نویسندگان است."
  • "کدهای آماری تولید شده توسط GitHub Copilot قبل از اجرا، توسط یک آمارشناس با تجربه بررسی و تأیید شد تا از صحت الگوریتم‌ها و پیاده‌سازی اطمینان حاصل شود."
  • "هر استناد پیشنهادی توسط ChatGPT برای بخش مرور ادبیات، توسط نویسندگان به صورت دستی در پایگاه‌های داده PubMed و Google Scholar بررسی شد تا از وجود و مرتبط بودن آن اطمینان حاصل شود. استنادات نامعتبر یا نامرتبط حذف یا جایگزین شدند."
آیتم ۸

حریم خصوصی داده‌ها (Data privacy)

سوال چک‌لیست: توضیح دهید که چگونه حریم خصوصی و محرمانگی داده‌ها در طول استفاده از ابزارهای GAI تضمین شده است.

توضیح علمی: هنگام استفاده از ابزارهای GAI، به ویژه آن‌هایی که مبتنی بر ابر هستند، در تحقیقاتی که شامل داده‌های حساس بیماران یا سایر اطلاعات محرمانه است، حفاظت از حریم خصوصی یک نگرانی عمده محسوب می‌شود. نویسندگان باید اقداماتی را که برای جلوگیری از نقض حریم خصوصی انجام داده‌اند، شرح دهند. این می‌تواند شامل ناشناس‌سازی یا شناسایی‌زدایی داده‌ها قبل از ورود به ابزار GAI، استفاده از نسخه‌های محلی یا سازمانی ابزارها (در صورت وجود و ایمن بودن)، و رعایت مقررات مربوط به حفاظت از داده‌ها (مانند GDPR یا HIPAA) باشد.

مثال‌های ملموس:

  • "قبل از وارد کردن هرگونه اطلاعات بالینی به ChatGPT برای کمک به خلاصه‌سازی پرونده‌ها، تمام اطلاعات قابل شناسایی بیمار (مانند نام، شماره پرونده، تاریخ تولد دقیق) طبق پروتکل‌های مصوب کمیته اخلاق بیمارستان، حذف و داده‌ها ناشناس‌سازی شدند."
  • "برای تحلیل داده‌های ژنومی، از یک نسخه محلی از ابزار GAI استفاده شد که بر روی سرورهای امن موسسه ما نصب شده بود و هیچ داده‌ای به خارج از شبکه داخلی منتقل نشد."
  • "ما از وارد کردن هرگونه داده حساس یا محرمانه بیمار به ابزارهای GAI عمومی خودداری کردیم و تنها از آن‌ها برای وظایف عمومی مانند ویرایش زبان در بخش‌های غیر حساس مقاله استفاده نمودیم."
آیتم ۹

تأثیر بر نتایج (Impact on conclusions)

سوال چک‌لیست: توضیح دهید که آیا و چگونه استفاده از ابزارهای GAI ممکن است بر تفسیر نتایج، دقت کلی مطالعه یا نتیجه‌گیری‌ها تأثیر گذاشته باشد.

توضیح علمی: نویسندگان باید به طور انتقادی ارزیابی کنند که آیا استفاده از GAI به هر نحوی بر یافته‌های اصلی، تفسیر آن‌ها یا نتیجه‌گیری‌های نهایی مطالعه تأثیر گذاشته است یا خیر. اگر GAI صرفاً برای ویرایش زبان استفاده شده و محتوای علمی توسط انسان‌ها کنترل شده، معمولاً تأثیر قابل توجهی بر نتیجه‌گیری‌ها ندارد. اما اگر GAI در تحلیل داده‌ها، تولید فرضیه‌ها یا تفسیر نتایج نقش داشته، پتانسیل تأثیرگذاری (مثبت یا منفی، مانند معرفی سوگیری) بیشتر است. نویسندگان باید مسئولیت کامل محتوای علمی و نتیجه‌گیری‌های مقاله را، صرف نظر از میزان استفاده از GAI، بپذیرند.

مثال‌های ملموس:

  • "استفاده از ChatGPT برای کمک به نگارش بخش مقدمه و بحث، تأثیری بر طراحی مطالعه، جمع‌آوری داده‌ها، تحلیل آماری یا نتیجه‌گیری‌های اصلی که کاملاً توسط نویسندگان انسانی انجام شده، نداشته است. نویسندگان مسئولیت کامل محتوای علمی مقاله را بر عهده دارند."
  • "اگرچه از یک ابزار GAI برای شناسایی اولیه الگوها در داده‌های تصویربرداری استفاده شد، تمام یافته‌های گزارش‌شده و نتیجه‌گیری‌های بالینی متعاقب آن، توسط دو رادیولوژیست متخصص به طور مستقل تأیید و تفسیر شده‌اند. بنابراین، معتقدیم استفاده از GAI دقت کلی را افزایش داده بدون آنکه نتیجه‌گیری‌ها را مخدوش کند."
  • "نویسندگان اذعان دارند که استفاده از GAI برای خلاصه‌سازی حجم زیادی از مقالات ممکن است منجر به نادیده گرفتن برخی مطالعات کمتر شناخته شده یا دارای سوگیری در انتخاب ادبیات شده باشد، هرچند تلاش شد با جستجوی دستی تکمیلی این محدودیت کاهش یابد. این موضوع باید در تفسیر نتایج مرور ادبیات ما در نظر گرفته شود."

واژه‌های کلیدی (Keywords)

هوش مصنوعی مولد (Generative Artificial Intelligence - GAI)

فارسی: نوعی از هوش مصنوعی که قادر به تولید محتوای جدید و اصیل مانند متن، تصویر، صدا و ویدئو است.

English: A type of artificial intelligence capable of generating novel and original content such as text, images, audio, and video.

مدل زبانی بزرگ (Large Language Model - LLM)

فارسی: یک مدل هوش مصنوعی که بر روی حجم عظیمی از داده‌های متنی آموزش داده شده تا قادر به درک، تولید و پردازش زبان انسان باشد.

English: An AI model trained on vast amounts of text data to understand, generate, and process human language.

اعلان (Prompt)

فارسی: ورودی متنی یا دستوری که توسط کاربر به یک ابزار هوش مصنوعی مولد داده می‌شود تا پاسخ یا خروجی خاصی تولید کند.

English: Textual input or instruction given by a user to a generative AI tool to produce a specific response or output.

مهندسی اعلان (Prompt Engineering)

فارسی: فرآیند طراحی، اصلاح و بهینه‌سازی اعلان‌ها برای دستیابی به نتایج مطلوب‌تر و دقیق‌تر از مدل‌های هوش مصنوعی مولد.

English: The process of designing, refining, and optimizing prompts to achieve more desirable and accurate results from generative AI models.

تنظیم دقیق (Fine-tuning)

فارسی: فرآیند آموزش تکمیلی یک مدل هوش مصنوعی از پیش آموزش‌دیده بر روی یک مجموعه داده کوچک‌تر و تخصصی‌تر برای انطباق آن با یک وظیفه یا دامنه خاص.

English: The process of further training a pre-trained AI model on a smaller, more specific dataset to adapt it to a particular task or domain.

نظرسنجی دلفی (Delphi survey)

فارسی: یک روش پژوهشی ساختاریافته برای دستیابی به اجماع نظر گروهی از متخصصان از طریق چندین دور پرسشنامه همراه با بازخورد کنترل‌شده.

English: A structured research method for achieving group consensus from experts through multiple rounds of questionnaires with controlled feedback.

شبکه EQUATOR (EQUATOR Network)

فارسی: (Enhancing the QUAlity and Transparency Of health Research) یک ابتکار بین‌المللی که هدف آن بهبود کیفیت و شفافیت گزارش‌دهی در تحقیقات سلامت از طریق ترویج استفاده از راهنماهای گزارش‌دهی است.

English: (Enhancing the QUAlity and Transparency Of health Research) An international initiative that aims to improve the quality and transparency of health research reporting by promoting the use of reporting guidelines.

توصیه‌ها و نتیجه‌گیری

راهنمای GAMER یک ابزار حیاتی برای افزایش شفافیت، یکپارچگی و کیفیت تحقیقات پزشکی است که از هوش مصنوعی مولد بهره می‌برند. به اعضای محترم هیئت علمی توصیه می‌شود:

پذیرش گسترده این راهنما به نفع کل جامعه علمی خواهد بود و به حفظ اعتماد عمومی به تحقیقات پزشکی کمک خواهد کرد.