مفاهیم اساسی آزمون های معناداری آماری به شرح زیر است:
1- هدف از استفاده از یک آزمون معنادار آماری، تعیین این نکته است که آیا تفاوت بین دو مقدار (یا تفاوت بین ویژگی های نمونه با جامعه آماری) معنا دار است یا نتیجه نوسان پیشامدها و یا خطای نمونه گیری است.
2- برای تعیین معناداری آماری، داده ها از طریق یک فرمول تحلیل می شوند و مقادیر به وسیله نمرات t ، یا F به دست می آیند.
3- سپس درجه آزادی را تعیین می کنید (تعداد آزمودنی ها منهای یک).
4- سپس با استفاده از جدول احتمالات و درجه آزادی، مقدار معنادار محاسبه شده را با مقدار جدول مقایسه می کنید.
سطح اطمینان را 05/0 انتخاب کنید. (این حداقل سطحی است که شما باید در نظر بگیرید).
5- اگر مقدار معنادار محاسبه شده از مقدار جدول بزرگ تر باشد (در سطح 5 0/0)، بیان گر این است که تفاوت در نمرات دانش آموزان به لحاظ آماری در سطح اطمینان 5 0/0 معنادار بوده و نتیجه ی نوسان پیشامد ها نیست.
این بدان معناست که تفاوت در نمرات دانش آموزان به قدری زیاد است که فقط می تواند در 5% از موارد به دست آید و در 95% از موارد، تفاوت بین نمرات دانش آموزان نتیجه ی تأثیر متغیر مستقل روی متغیر وابسته است.
از این رو، فرضیه صفر رد می شود. 6- اگر مقدار معنادار محاسبه شده از مقدار جدول احتمالات کمتر باشد (در سطح 5 0/0)، در این صورت نشان می دهد که تفاوت نمرات در نمرات دانش آموزان به لحاظ آماری در سطح 5 0/0 معنادار نیست و این حالت ناشی از نوسان پیشامدهاست.
به این معنی که تفاوت در نمرات دانش آموزان به قدری کم است که متغیر مستقل هیچ تأثیری روی متغیر وابسته نداشته است.
بنابراین، 95% موارد، تفاوت در نمرات دانش آموزان ناشی از نوسان پیشامدها، و فقط در 5% موارد، متغیر مستقل روی متغیر وابسته اثرگذار بوده است.
از این رو، فرضیه صفر تأیید می شود.
اندازه اثر :
یکی از دلایلی که به لحاظ آماری مقادیر معنادار P می تواند اشتباه قلمداد شود، این است که مقدار محاسبه شده به طور مستقیم به اندازه نمونه مرتبط است.
بنابراین، ممکن است در یک نمونه خیلی بزرگ، تفاوت یا رابطه بسیار کوچکی وجود داشته باشد و در عین حال به صورت « معنادار» گزارش شود.
برای مثال، ضریب همبستگی 44/0 در سطح 5 0/0> p با نمونه ای به کوچکی 20 نفر به لحاظ آماری معنادار خواهد بود و یک نمونه 5000 تایی، در سطح 5 0/0، همبستگی را فقط در حدود 28 0/0 معنادار نشان می دهد که عملاً هیچ رابطه ای محسوب نمی شود.
هم اکنون انجمن روانشناسی آمریکا (2001) و چندین مجله پژوهشی، قویاً توصیه می کنند که محققان، شاخص هایی را گزارش دهند که شدت یا اندازه تفاوت یا رابطه بین متغیرها را به همراه سنجه های معناداری آماری نمایش می دهند.
این سنجه های میزان اثر ، همان طور که از اسم شان پیداست، یا شدت رابطه را نشان می دهند یا میزان اثر را.
مقیاس رابطه همانند ضریب تعیین برای تخمین نسبت های واریانس مشترک مورد استفاده قرار می گیرد. اما کاربرد میزان اثر، متداول تر از سایر مقیاس هاست.
اثر به صورت نسبت تفاوت بین میانگین های گروه تقسیم بر انحراف معیار برآورد شده از جامعه آماری نشان داده می شود. طبق نظر کوهن (1988)، شاخص میزان اثر دال بر تفاوت کاربردی یا معنادار است.
شاخص های میزان اثر حدود 20% به عنوان اثرات کوچک، شاخص های میزان اثر حدود 50/0 به عنوان اثرات متوسط و شاخص های میزان اثر حدود 80% به بالا به عنوان اثرات بزرگ در نظر گرفته می شوند.
