منتدى علوم المنصورة

شاطر
استعرض الموضوع السابقاذهب الى الأسفلاستعرض الموضوع التالي
avatar
kamar_ellel
عالم مشرفنا

عالم مشرفنا
عدد المساهمات : 1009
العمر : 30
العمل/الترفيه : دراسات عليا أحصاء وعلوم الحاسب
المزاج : الحمد لله ماشى الحال
الألتزام بقوانين المنتدى :

Central limit theorem

في الأربعاء يناير 07, 2009 5:48 am
Classical central limit theorem




[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط]

[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط]

Pictures of a distribution being "smoothed out" by [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] (showing original [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] and three subsequent summations). (See [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] for further details.)




The central limit theorem is also known as the second fundamental theorem of probability. (The [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] is the first.)


Let X1, X2, X3, ... Xn be a sequence of n independent and identically distributed (i.i.d) random variables each having finite values of expectation µ and variance σ2 > 0. The central limit theorem states that as the sample size n increases[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط]σ2 / n irrespective of the shape of the original distribution.
, the distribution of the sample average of these random variables
approaches the normal distribution with a mean µ and variance



Let the sum of n random variables be Sn, given by


Sn = X1 + ... + Xn. Then, defining a new random variable

[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

the distribution of Zn [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] towards the [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] N(0,1) as n approaches ∞ (this is [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط]).[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] This is often written as

[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

where

[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

is the [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط].


This means: if Φ(z) is the [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] of N(0,1), then for every [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] z, we have

[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

or,

[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]



[[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط]] Proof of the central limit theorem




For a theorem of such fundamental importance to [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط], the central limit theorem has a remarkably simple proof using [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط]. It is similar to the proof of a (weak) [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط]. For any random variable, Y, with zero [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] and unit variance (var(Y) = 1), the characteristic function of Y is, by [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط],

[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

where o (t2 ) is "[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط]" for some function of t that goes to zero more rapidly than t2. Letting Yi be (Xi − μ)/σ, the standardized value of Xi, it is easy to see that the standardized mean of the observations X1, X2, ..., Xn is

[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

By simple properties of characteristic functions, the characteristic function of Zn is

[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

But, this limit is just the characteristic function of a standard
normal distribution, N(0,1), and the central limit theorem follows from
the [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط], which confirms that the [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] of characteristic functions implies convergence in distribution.

Relation to the law of large numbers




[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] as well as the central limit theorem are partial solutions to a general problem: "What is the limiting behavior of Sn as n[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] is one of the most popular tools employed to approach such questions. approaches infinity?" In mathematical analysis,


Suppose we have an asymptotic expansion of f(n):

[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

dividing both parts by [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and taking the limit will produce a1 - the coefficient at the highest-order term in the expansion representing the rate at which f(n) changes in its leading term.

[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

Informally, one can say: "f(n) grows approximately as [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]". Taking the difference between f(n) and its approximation and then dividing by the next term in the expansion we arrive to a more refined statement about f(n):

[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]

here one can say that: "the difference between the function and its approximation grows approximately as [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]"
The idea is that dividing the function by appropriate normalizing
functions and looking at the limiting behavior of the result can tell
us much about the limiting behavior of the original function itself.



Informally, something along these lines is happening when Sn is being studied in classical probability theory. Under certain regularity conditions, by The Law of Large Numbers, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and by The Central Limit Theorem, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]ξ is distributed as N(0,σ2) which provide values of first two constants in informal expansion: where


[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]


It could be shown[[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط]] that if X1, X2, X3, ... are i.i.d. and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] for some [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] then [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] hence [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
is the largest power of n which if serves as a normalizing function
would provide a non-trivial (non-zero) limiting behavior. Interestingly
enough, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط]
tells us what is happening "in between" The Law of Large Numbers and
The Central Limit Theorem. Specifically it says that the normalizing
function [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] intermediate in size between n of The Law of Large Numbers and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] of the central limit theorem provides a non-trivial limiting behavior.


Theorem. Suppose that [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is stationary and α-mixing with [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and that [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]. Denote [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] then the limit [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] exists, and if [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] then [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] converges in distribution to N(0,1).


In fact, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] where the series converges absolutely.


The assumption [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] cannot be omitted, since the asymptotic normality fails for [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] where Yn are another stationary sequence.


For the theorem in full strength see ([ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط], Sect. 7.7(c), Theorem (7.8)); the assumption [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is replaced with [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and the assumption αn = O(n − 5) is replaced with [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] Existence of such δ > 0 ensures the conclusion.
Martingale central limit theorem



Main article: [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط]


Theorem. Let a [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] Mn satisfy



then [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] converges in distribution to N(0,1) as n tends to infinity.


See ([ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط], Sect. 7.7, Theorem (7.4)) or ([ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط], Theorem 35.12).


Caution: The restricted expectation E(X;A) should not be confused with the conditional expectation [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
اسلام الباز
عالم علي ماتفرج

عالم علي ماتفرج
عدد المساهمات : 12
العمر : 29
المزاج : math
الألتزام بقوانين المنتدى :

رد: Central limit theorem

في الإثنين يناير 26, 2009 2:10 am
تمام بارك الله لكى كنت دايخ على نظرية النهاية المركزيهع قصدى على برهانها
استعرض الموضوع السابقالرجوع الى أعلى الصفحةاستعرض الموضوع التالي
مواضيع مماثلة
صلاحيات هذا المنتدى:
لاتستطيع الرد على المواضيع في هذا المنتدى