Statistische significantie is een objectieve indicator van al dan niet de resultaten van een studie zijn wiskundig "echte" en statistisch verdedigbare, eerder dan enkel een kans ontstaan. Veelgebruikte significantietests zoekt de verschillen in de middelen van gegevensverzamelingen of verschillen in de varianties van gegevenssets. Het type test dat wordt toegepast, hangt af van het soort gegevens dat wordt geanalyseerd. Het is aan de onderzoekers om te bepalen hoe belangrijk zij vereisen enkel de resultaten--met andere woorden, hoeveel risico ze bereid zijn te nemen om verkeerd. Onderzoekers zijn meestal bereid over te nemen van een risiconiveau van 5 procent.
Type I fout: ten onrechte afwijzing van de Null-hypothese
Experimenten worden uitgevoerd om te testen uit specifieke hypothesen, of experimentele vragen met een verwachte resultaat. Een null-hypothese is er een die detecteert geen verschil tussen de twee gegevensverzamelingen wordt vergeleken. Bij een medische proef, bijvoorbeeld de null-hypothese mogelijk dat er is geen verschil in verbetering tussen patiënten die de studie drug en patiënten die van de placebo. Als de onderzoeker deze nulhypothese ten onrechte worden afgewezen wanneer het is in feite waar, met andere woorden als ze "speurder" een verschil tussen de twee sets van patiënten wanneer er echt geen verschil was, dan hebben ze een Type ik fout. Onderzoekers bepalen tevoren hoeveel risico van het plegen van een Type ik fout ze bereid zijn te accepteren. Dit risico is gebaseerd op een maximale p-waarde dat ze zal accepteren voordat de nulhypothese verwerpen, en heet alpha.
Type II fout: Ten onrechte afwijzing de alternatieve hypothese
Een alternatieve hypothese is er een die detecteert een verschil tussen de twee gegevensverzamelingen wordt vergeleken. In het geval van de medische proef, zou je verwachten te zien van verschillende niveaus van verbeteringen in patiënten die de studie drug en patiënten die van de placebo. Als onderzoekers niet de nulhypothese verwerpen als ze, met andere woorden moeten als ze "speurder" geen verschil tussen de twee set van patiënten toen er echt een verschil, zij vervolgens een Type II-fout hebben begaan.
Bepalen van het niveau van belang
Wanneer onderzoekers het uitvoeren van een test van de statistische significantie en de resulterende p-waarde kleiner is dan het niveau van risico aanvaardbaar geacht, waarna het testresultaat wordt beschouwd als een statistisch significant. In dit geval wordt de null-hypothese--de hypothese dat er geen verschil tussen de twee groepen is--afgewezen. Met andere woorden, blijkt de resultaten dat er een verschil in verbetering tussen patiënten die de studie drug en patiënten die van de placebo.
Het kiezen van een betekenis-Test
Er zijn verscheidene verschillende statistische tests om uit te kiezen. Een standaard t-test vergelijkt de middelen van twee gegevensverzamelingen, zoals onze studie drug gegevens en de gegevens van onze placebo. Een gepaarde t-toets wordt gebruikt voor het opsporen van verschillen in de dezelfde gegevensset, zoals een voor-en-na-studie. Een one-way variantieanalyse (ANOVA) kunt vergelijken met de middelen van drie of meer gegevenssets en een two-way ANOVA vergelijkt de middelen van twee of meer gegevenssets in reactie op twee verschillende onafhankelijke variabelen, zoals verschillende sterktes van de drug van de studie. Een lineaire regressie vergelijkt de middelen van de gegevensverzamelingen langs een helling van behandelingen of tijd. Elke statistische toets zal leiden tot maatregelen van belang, of alpha, die kunnen worden gebruikt om de testresultaten te interpreteren.