شرلوک هولمز در کتاب نشانهٔ چهار روشی را برای کشف حقیقت به‌کار می‌برد که می‌توان اسمش را گذاشت روش حذف ناممکن‌ها: وقتی همهٔ حالت‌های ناممکن را کنار گذاشته باشی، آنچه باقی می‌ماند، هرچه‌قدر هم نامحتمل، باید حقیقت باشد.
این روش، مثل بسیاری از روش‌های دیگری که هولمز به کار می‌گیرد، جذاب و هیجان‌انگیز است ولی آیا در عمل و در شرایط واقعی هم می‌توان چنین روش‌هایی را به‌همان سادگی به‌کار برد؟ واقعیت این است که در عمل ممکن است موانع فراوانی کاربردپذیری این روش را به چالش بکشد. در این یادداشت به دو مورد از این موانع نگاه دقیق‌تری می‌اندازیم. نخست این که تشخیص ناممکن بودن بعضی حالت‌ها که در ابتدا محتمل بوده‌اند با چه دقتی انجام می‌شود؟ آیا ممکن نیست خطایی در این تشخیص وجود داشته باشد؟ مثلاً در همین مکالمه که از کتاب نشانهٔ چهار نقل شد هولمز به واتسن می‌گوید: «می‌دانیم که او از در یا از پنجره یا دودکش وارد نشده» این «می‌دانیم» چه‌قدر دقیق است؟ آیا ممکن است خطایی در مشاهده یا جمع‌آوری شواهد وجود داشته باشد که این نتیجه‌گیری را نادقیق کند؟ دوم این که آیا همهٔ حالت‌های ممکن از ابتدا در نظر گرفته شده‌اند؟ مثلاً آیا ممکن است که به‌جز در، پنجره، دودکش و سوراخ سقف راه دیگری هم برای ورود به اتاق بوده باشد که از نظر کارآگاه دور مانده باشد؟ چنین اتفاقاتی تا چه اندازه می‌تواند اعتبار نتیجه‌گیری نهایی را به خطر بیندازد؟
هولمز در حالی که سرش را تکان می‌داد گفت: تو به توصیهٔ من عمل نمی‌کنی. چند بار به تو گفته‌ام که وقتی ناممکن را حذف کرده باشی، آنچه باقی می‌ماند، هر قدر هم بعید، باید حقیقت باشد؟ می‌دانیم که او از در یا از پنجره یا دودکش وارد نشده. این را هم می‌دانیم که نمی‌توانسته در اتاق پنهان شده باشد، چون مخفیگاهی وجود ندارد. پس از کجا آمده؟
– من فریاد زدم از سوراخ سقف آمده؟
نشانهٔ چهار، آرتور کانن دویل، ترجمهٔ مژده دقیقی، (انتشارات هرمس ۱۳۷۸).
– معلوم است که از آنجا آمده.
خطا در تشخیص ناممکن بودن حالت‌ها
برای بررسی خطای آزمون‌هایی که حالت‌های ناممکن را مشخص می‌کنند مثال ساده‌ای در نظر می‌گیرم. فرض کنید $n+1$ جعبه داریم که در یکی از آن‌ها یک توپ وجود دارد. جعبه‌ها را با
$1,2,\cdots, n , z$ برچسب می‌زنیم. هیچ اطلاعات اضافهٔ دیگری که بتواند راهنمایی برای تشخیص جعبهٔ محتوی توپ باشد نداریم، بنابراین فرض می‌کنیم که توپ می‌تواند با احتمال یکسان در هر یک از این $n+1$ جعبه باشد. (می‌توان مسئله را به شکل عام‌تری هم طرح کرد، مثلاً می‌توان فرض کرد که احتمال این که توپ در جعبهٔ شمارهٔ $i$ باشد $p_i$ است و $\sum_{i=1}^n p_i+p_z=1$.)
فرض کنید $A_i$ پیشامد قرار داشتن توپ در جعبهٔ شمارهٔ $i$ باشد. همچنین فرض کنید برای تشخیص این که یک جعبه توپی در درونش ندارد از آزمایشی مانند تکان دادن جعبه یا اسکن کردن آن با پرتو ایکس استفاده کنیم. پیشامدی را که در آن نتیجهٔ آزمایش روی جعبهٔ شمارهٔ $i$ خالی بودن آن را نشان می‌دهد $E_i$ می‌نامیم. این آزمایش ممکن است خطا داشته باشد، به‌این معنی که ممکن است توپ در جعبهٔ شمارهٔ $i$ باشد ولی نتیجهٔ آزمایش خلاف این را گزارش کند. احتمال چنین خطایی را با $r$ نشان می‌دهیم. به بیان ریاضی $P(E_i|A_i)=r$.
جعبه‌های شمارهٔ $1$ تا $n$ را آزمایش می‌کنیم و نتیجهٔ آزمایش این است که توپ در هیچ یک از این جعبه‌ها نیست. طبق روش هولمز می‌توانیم بگوییم که توپ قطعاً در جعبهٔ $z$ است. اما احتمال خطا در آزمایش‌های ما وجود دارد و بنابراین ممکن است توپ در یکی از جعبه‌هایی باشد که آزمایش خالی بودن آن را نشان داده. در چنین شرایطی نمی‌توان گفت که توپ قطعاً در جعبهٔ $z$ است. سؤال درست این است که احتمال قرار داشتن توپ در جعبهٔ $z$ چه‌قدر است. چنین احتمالی با عبارت ریاضی زیر بیان می‌شود
$$P(A_z|\bigcap_{i=1}^{n} E_i) = P(A_z|E_1\cap E_2\cap \cdots \cap E_n) = P(A_z \mid \mathcal{E}).$$ در اینجا $\mathcal{E} := \bigcap_{i=1}^{n} E_i$ اشتراک بین همه پیشامدهاست. با به کارگیری قاعدهٔ بیز: $$\begin{aligned}
P(A_z \mid \mathcal{E}) = \frac{P(A_z \cap \mathcal{E})}{P(\mathcal{E})}
\end{aligned}$$ و در نتیجه $$P(A_z \mid \mathcal{E})= \frac{P(\mathcal{E} \mid A_z)\, P(A_z)}{P(\mathcal{E} \mid A_z)\, P(A_z) + \sum_{i=1}^{n} P(\mathcal{E} \mid A_i)\, P(A_i)}$$
فرض می‌کنیم آزمایش‌های جعبه‌های مختلف مستقل باشند یعنی آزمایش یک جعبه روی نتیجهٔ آزمایش یک جعبهٔ دیگر اثری نداشته باشد. در این‌صورت خواهیم داشت $$P(\mathcal{E}|A_z)=(1-r)^n$$
زیرا اگر توپ در جعبهٔ شمارهٔ $z$ باشد یعنی همهٔ آزمایش‌ها نتیجهٔ درست داده‌اند و احتمال درست بودن نتیجهٔ هر آزمایش $1-r$ است. به‌همین ترتیب به‌سادگی می‌توان دید که
$$P(\mathcal{E}|A_i)=r(1-r)^{n-1}\,, i=1,2,\cdots , n$$ و بنابراین
\begin{eqnarray}
P & = & \frac{(1-r)P(A_z)}{r\left(1-P(A_z)\right)+(1-r)P(A_z)}\nonumber\
& = & \frac{1-r}{nr+1-r}\nonumber
\end{eqnarray} که در آن از $P(A_z)=\frac{1}{n+1}$ استفاده کرده‌ایم.
بیایید نگاهی به نتیجهٔ این رابطه برای یک حالت مشخص بیندازیم. فرض کنید ده جعبه داریم (یعنی $n=9
$) و آزمایش ما برای تشخیص خالی بودن جعبه‌ها ده درصد خطا دارد (به این معنی که به طور میانگین از هر ده آزمایش یکی نتیجهٔ نادرست می‌دهد). در این صورت رابطهٔ بالا می‌گوید که $P=0.5$. یعنی احتمال این که توپ در جعبهٔ آخر (جعبه‌ای که آزمایش نشده) باشد پنجاه درصد است. به‌طور کلی اگر احتمال خطا در آزمایش تشخیص حالت‌های ناممکن برابر با احتمال همان حالتی باشد که در آخر و پس از حذف ناممکن‌ها قرار است به‌عنوان «حقیقت» معرفی شود، خطای تشخیص حقیقت پنجاه درصد خواهد بود!
خطا در تعیین همهٔ حالت‌های ممکن
ایراد دیگری که می‌تواند کارایی این روش را به چالش بکشد این است که از ابتدا همهٔ حالت‌های ممکن را تشخیص نداده باشیم و بعضی از آن‌ها از چشم ما دور مانده باشند. اگر به مثال بخش قبل برگردیم می‌توانیم فرض کنیم که مثلاً یک جعبهٔ دیگر (جعبهٔ شمارهٔ $m$ وجود دارد) که در میان $n+1$ جعبهٔ موجود نیست و مثلاً پشت یک پرده مخفی شده است ولی توپ می‌تواند درون آن جعبه هم باشد. احتمال وجود توپ در آن جعبه را با $P(A_m)$ نشان می‌دهیم. به‌عبارت دیگر اگرچه ما تصور می‌کنیم که حاصل‌جمع احتمال‌های وجود توپ در $n+1$ جعبهٔ موجود برابر با یک است ولی درواقع این احتمال کوچک‌تر از یک است:
$$\sum_{i=1}^n P(A_i)+P(A_z)=1-P(A_m)$$. بنابراین حتی اگر آزمایش‌های ما بی‌خطا باشند و بگویند که توپ در جعبه‌های شمارهٔ $1$ تا $n$ نیست باز هم ممکن است جعبهٔ شمارهٔ $z$ را باز کنیم و ببینیم که خالی است. احتمال چنین نتیجهٔ ناگواری $P(A_m)$ است. برای اجتناب از مواجه شدن با چنین وضعیتی باید حداکثر تلاش را برای تشخیص و به‌حساب‌آوردن همهٔ حالت‌های ممکن به خرج داد.
به‌عنوان آخرین مثال حالتی را در نظر می‌گیریم که هم آزمایش‌ها احیاناً خطا داشته باشند و هم از ابتدا همهٔ حالت‌های ممکن تعیین نشده باشند و مثلاً جعبهٔ شمارهٔ $m$ از قلم افتاده باشد. در این صورت به‌سادگی می‌توان دید که وقتی آزمایش‌ها نشان می‌دهند که توپ در هیچ یک از جعبه‌های $1$ تا $n$ نیست، احتمال پیدا کردن توپ در جعبهٔ $z$ برابر است با
$$P=\frac{(1-r)P(A_z)}{r(1-P(A_z)-P(A_m))+(1-r)(P(A_z)+P(A_m))}$$
و باز اگر همهٔ جعبه‌ها را هم‌احتمال بگیریم، یعنی
$$P(A_z)=P(A_m)=P(A_i)=\frac{1}{n+2}$$ خواهیم داشت $$P=\frac{1-r}{nr+2(1-r)}.$$
برای مقایسهٔ این نتیجه با نتیجهٔ بخش قبل فرض می‌کنیم تعداد همهٔ جعبه‌های در اختیار ما ده تاست (یعنی $n=9$) ولی تعداد کل جعبه‌ها درواقع یازده تاست و احتمال وجود توپ در این یازده جعبه یکسان است ($\frac{1}{11}$).
احتمال خطای آزمایش را هم مانند قبل ۰/۱ می‌گیریم. در این‌صورت احتمال یافتن توپ در جعبهٔ $z$ برابر خواهد بود با $P=\frac{1}{3}$. به‌عبارت دیگر آن حالتی را که با روش حذف ناممکن‌ها حقیقت محض می‌دانیم فقط کمی بیش از سی درصد احتمال دارد که حقیقت باشد!
سخن پایانی
دنیای واقعی بر خلاف دنیای قصه‌ها پر از عدم قطعیت، خطا و بی‌دقتی است. در چنین دنیایی دست یافتن به حقیقت به سادگی قصه‌ها نیست. بنابراین برای پرهیز از نتیجه‌گیری نادرست یا پیش‌بینی نادرست بهتر است تا حد امکان نگاه همه‌جانبه به پدیده‌ها داشته باشیم و امکان بروز خطا در مشاهده‌ها و آزمایش‌ها را نیز نادیده نگیریم.
