یکی از اولین رویکردهای روشمند به آزمایش به معنای امروزی در آثار ریاضیدان و محقق عرب ابن هیثم قابل مشاهده است. او آزمایشهای خود را در زمینه اپتیک – با بازگشت به مسائل نوری و ریاضی در آثار بطلمیوس – با کنترل آزمایشهای خود به دلیل عواملی مانند انتقاد از خود، اتکا به نتایج قابل مشاهده آزمایشها و همچنین بحرانی بودن در اصطلاح انجام داد. از نتایج قبلی او یکی از اولین دانشمندانی بود که از روش استقرایی-تجربی برای دستیابی به نتایج استفاده کرد. او در کتاب اپتیک خود رویکرد اساساً جدید به دانش و تحقیق را به معنای تجربی توصیف میکند:

یعنی باید تحقیق در مورد اصول و مقدمات آن را از نو آغاز کنیم و تحقیقات خود را با بازرسی از چیزهای موجود و بررسی شرایط اشیاء مرئی آغاز کنیم. ما باید خصوصیات جزییات را از هم تشخیص دهیم و آنچه را که در هنگام بینایی به چشم مربوط میشود و آنچه را که در نحوه حس یافت میشود یکنواخت، تغییرناپذیر، آشکار و در معرض شک قرار نمیگیرد، با استقرا جمع آوری کنیم. پس از آن باید در تحقیق و استدلال خود به تدریج و منظم بالا رفت و مقدمات را نقد کرد و در نتیجه گیری احتیاط کرد – هدف ما از همه چیزهایی که مشمول بازرسی و بازبینی قرار میدهیم به کار بردن عدالت است نه پیروی از تعصب و گرفتن. در همه چیزهایی که قضاوت و انتقاد میکنیم مراقب باشیم که به دنبال حقیقت باشیم و عقیده ما را تحت تاثیر قرار ندهد. ممکن است از این طریق سرانجام به حقیقتی برسیم که موجب خشنودی دل شود و به تدریج و با دقت به پایانی برسیم که در آن یقین ظاهر میشود. در حالیکه با انتقاد و احتیاط ممکن است به حقیقتی دست یابیم که اختلاف را برطرف میکند و مسائل مشکوک را حل میکند. با همه اینها، ما از آن کدورت انسانی که در سرشت انسان است، مبرا نیستیم. اما ما باید با آنچه از نیروی انسانی در اختیار داریم بهترین کار را انجام دهیم. ما در همه چیز از خدا حمایت میکنیم.

طبق توضیحات وی، اجرای یک آزمون کاملاً کنترل شده با حساسیت به ذهنیت و حساسیت نتایج به دلیل ماهیت انسان ضروری است. علاوه بر این، نگاه انتقادی به نتایج و نتایج پژوهشگران پیشین ضروری است:

بنابراین، وظیفه کسی است که به مطالعه نوشته‌های دانشمندان میپردازد، اگر هدفش آموختن حقیقت است، خود را دشمن همه چیزهایی که میخواند، قرار دهد و ذهن خود را به هسته و حواشی محتوای آن معطوف کند، به آن حمله کند. از هر طرف او همچنین باید در حین بررسی انتقادی خود به خود مشکوک شود تا از تعصب یا نرمش اجتناب کند.

بنابراین، مقایسه نتایج قبلی با نتایج تجربی برای یک آزمایش عینی ضروری است – نتایج قابل مشاهده اهمیت بیشتری دارند. در پایان، این ممکن است به این معنا باشد که یک محقق تجربی باید شجاعت کافی برای کنار گذاشتن نظرات یا نتایج سنتی را پیدا کند، به خصوص اگر این نتایج تجربی نباشند، بلکه ناشی از یک اشتقاق منطقی/ذهنی باشند. در این فرآیند بررسی انتقادی، خود مرد نباید فراموش کند که به عقاید ذهنی – از طریق «تعصب» و «مسلیمی» – تمایل دارد و بنابراین باید نسبت به روش خود برای ساختن فرضیه‌ها انتقاد پذیر باشد.

با اینحال، اساساً مطالعات مشاهده ای آزمایش نیستند. طبق تعریف، مطالعات مشاهده‌ای فاقد دستکاری مورد نیاز برای آزمایشهای Baconian هستند. علاوه بر این، مطالعات مشاهده‌ای (مثلاً در سیستمهای زیست‌شناختی یا اجتماعی) اغلب شامل متغیرهایی است که اندازه‌گیری یا کنترل آنها دشوار است. مطالعات مشاهده‌ای محدود هستند زیرا فاقد ویژگیهای آماری آزمایشهای تصادفی هستند. در یک آزمایش تصادفی، روش تصادفی‌سازی مشخص شده در پروتکل تجربی، تحلیل آماری را هدایت میکند، که معمولاً توسط پروتکل آزمایشی نیز مشخص میشود. بدون یک مدل آماری که منعکس کننده یک تصادفی سازی عینی باشد، تحلیل آماری بر یک مدل ذهنی تکیه میکند. استنباط از مدلهای ذهنی در تئوری و عمل غیر قابل اعتماد است. در واقع، موارد متعددی وجود دارد که در آن مطالعات مشاهده‌ای با دقت انجام شده، به طور مداوم نتایج اشتباهی به دست میدهد، یعنی در مواردی که نتایج مطالعات مشاهده‌ای ناهماهنگ بوده و همچنین با نتایج آزمایشها متفاوت است. به عنوان مثال، مطالعات اپیدمیولوژیک سرطان روده بزرگ به طور مداوم همبستگیهای مفیدی را با مصرف بروکلی نشان میدهد، در حالی که آزمایشها هیچ فایده ای ندارند.

یک مشکل خاص در مورد مطالعات مشاهده‌ای که شامل افراد انسانی میشود، دشواری بزرگ در دستیابی به مقایسه‌های منصفانه بین درمانها (یا مواجهه‌ها) است، زیرا چنین مطالعاتی مستعد سوگیری انتخاب هستند و گروه‌هایی که درمانهای مختلف (قرار گرفتن در معرض) را دریافت میکنند ممکن است با توجه به متغیرهایشان (سن، قد، وزن، داروها، ورزش، وضعیت تغذیه، قومیت، سابقه پزشکی خانوادگی و غیره). در مقابل، تصادفی سازی نشان میدهد که برای هر متغیر کمکی، انتظار میرود میانگین برای هر گروه یکسان باشد. البته برای هر کارآزمایی تصادفی، مقداری تغییر از میانگین انتظار میرود، اما تصادفی‌سازی تضمین میکند که گروه‌های تجربی مقادیر متوسط نزدیک به هم دارند، به دلیل قضیه حد مرکزی و نابرابری مارکوف. با تصادفی‌سازی ناکافی یا حجم نمونه کم، تنوع سیستماتیک در متغیرهای کمکی بین گروه‌های درمانی (یا گروه‌های مواجهه) تفکیک اثر درمان (قرار گرفتن در معرض) از اثرات سایر متغیرهای کمکی را که بیشتر آنها اندازه‌گیری نشده‌اند، دشوار میکند. . مدلهای ریاضی مورد استفاده برای تجزیه و تحلیل چنین داده‌هایی باید هر یک از متغیرهای کمکی متفاوت را در نظر بگیرند (اگر اندازه‌گیری شوند)، و اگر یک متغیر کمکی نه تصادفی باشد و نه در مدل گنجانده شود، نتایج معنی‌دار نیستند.