منتدى علوم المنصورة

شاطر
استعرض الموضوع السابقاذهب الى الأسفلاستعرض الموضوع التالي
avatar
kamar_ellel
عالم مشرفنا

عالم مشرفنا
عدد المساهمات : 1009
العمر : 30
العمل/الترفيه : دراسات عليا أحصاء وعلوم الحاسب
المزاج : الحمد لله ماشى الحال
الألتزام بقوانين المنتدى :

Bias of an estimator OR Unbiased estimator

في الأربعاء يناير 07, 2009 5:32 am
Definition
Suppose we are trying to estimate the parameter [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] using an [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] (that is, some function of the observed data). Then the bias of [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is defined to be
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

In words, this would be "the expected value of the estimator [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] minus the true value [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]." This may be rewritten as
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]


which would read "the expected value of the difference between the estimator and the true value" (the expected value of [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is precisely [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] ). An estimator is said to be unbiased if the bias is zero.

Examples

Estimating variance

Suppose X1, ..., Xn are independent and identically distributed (i.i.d) normal random variables with [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] μ and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] σ2. Let
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

be the "sample average", and let
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

be a "sample variance".

Then S2 is a "biased estimator" of σ2 because
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

In other words, the expected value of the sample variance does not equal the population variance, unless multiplied by the normalization factor.

Estimating a Poisson probability

A far more extreme case of a biased estimator being better than any unbiased estimator is well-known: Suppose X has a [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] with expectation λ. It is desired to estimate
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

(For example, when incoming calls at a telephone switchboard are
modeled as a Poisson process, and λ is the average number of calls per
minute, then e−2λ is the probability that no calls arrive in the next two minutes.)

Since the expectation of an unbiased estimator δ(X) is equal to the estimand, i.e.
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة],
the only function of the data constituting an unbiased estimator is
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة].

To see this, note that when decomposing e − λ from the above expression for expectation, the sum that is left is a [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] expansion of e − λ as well, yielding e − λe − λ = e − 2λ (see [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط]).


The (biased) [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط]
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

is far better than this unbiased estimator. Not only is its value
always positive, but it is also more accurate in the sense that its [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] (MSE)
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

is smaller; compare the unbiased estimator's MSE of
1 − e − 4λ.

The MSEs are functions of the true value λ. The bias of the maximum-likelihood estimator is:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

Maximum of a discrete uniform distribution

The bias of maximum-likelihood estimators can be substantial. Consider a case where n tickets numbered from 1 through to n are placed in a box and one is selected at random, giving a value X. If n is unknown, then the maximum-likelihood estimator of n is X, even though the expectation of X is only (n + 1)/2; we can only be certain that n is at least X and is probably more. In this case, the natural unbiased estimator is 2X − 1.
avatar
مسلمة
عالم مش ساكت

عالم مش ساكت
عدد المساهمات : 129
العمر : 28
الألتزام بقوانين المنتدى :
الكليه : علوم
الفرقه والقسم : بكالريوس احصاء وعلوم الحاسب

رد: Bias of an estimator OR Unbiased estimator

في الأحد مارس 15, 2009 8:09 am
جزاك الله خيرا قمر
ده بالنسبة للمقدر المتحيز والغير متحيز وده اخدناه الترم اللى فات
loloممكن طلب لو سمحتى
احنا دلوقتى بناخد التقدير وعايزة طرق التقدير بنقطة وهى
طريقة المربعات الصغرى وطريقة بييز وطريقة دالة القرار لأنى دورت ومقدرتش اتوصل لنتيجة واكون شاكرة ليكى جدا
shaiban
عالم علي ماتفرج

عالم علي ماتفرج
عدد المساهمات : 1
العمر : 45
الألتزام بقوانين المنتدى :
الكليه : science mathematics
الفرقه والقسم : science mathematics

رد: Bias of an estimator OR Unbiased estimator

في الأحد فبراير 20, 2011 12:53 am
بسم الله الرحمن الرحيم
الحمدالله رب العالمين والصلاة والسلام على سيدنا محمد وعلى اله وصحبه اجمعين اما بعد الاخوة في هذا المنتدى شكرا لكم
استعرض الموضوع السابقالرجوع الى أعلى الصفحةاستعرض الموضوع التالي
صلاحيات هذا المنتدى:
لاتستطيع الرد على المواضيع في هذا المنتدى