Pagsubok ng Hipotesis

Isang simple at maikling tutorial sa pagsubok ng hypothesis gamit ang Python

Larawan mula sa: http://www.advanceinnovationgroup.com/blog/median-based-hypothesis-testing

Sa blog na ito, magbibigay ako ng isang maikling tutorial ng Hypothesis Pagsubok gamit ang mga pamamaraan ng Statistical sa Python. Ang Pagsubok ng Hipotesis ay bahagi ng Paraan ng Siyentipiko na pamilyar nating lahat, isang bagay na marahil na natutunan natin sa ating unang taon ng edukasyon. Gayunpaman, sa mga istatistika, maraming mga eksperimento ang ginagawa sa isang sample ng isang populasyon.

"Ang pagtukoy kung ano ang isang halimbawa ng hanay ng mga obserbasyon ay nagsasabi sa amin tungkol sa isang iminungkahing paliwanag, sa pangkalahatan, ay nangangailangan sa amin na gumawa ng isang pag-iintindi, o habang tinawag ito ng mga istatistika, sa Nangangatuwiran Sa kawalan ng katiyakan. Ang pangangatuwiran na walang katiyakan ay ang pangunahing kadahilanan ng istatistika at karaniwang ginagawa gamit ang isang pamamaraan na tinatawag na Null Hypothesis Significance Testing. " -Ovens.

Bilang isang halimbawa para sa blog na ito, gagamit ako ng isang set ng Data ng Soccer ng Europa na matatagpuan sa Kaggle, at magsasagawa ng pagsubok sa hypothesis. Matatagpuan ang mga dataset dito.

Hakbang 1

Gumawa ng isang obserbasyon

Ang unang hakbang ay upang obserbahan ang mga phenomena. Sa kasong ito, magiging: Mayroon bang epekto ng pagsalakay sa pagtatanggol sa average na pinapayagan na mga layunin?

Hakbang 2

Suriin ang pananaliksik

Ang isang mahusay na mindset na dapat dumaan ay mas mahirap sa trabaho. Ang isang mabuting bagay na dapat gawin ay ang makita kung mayroon nang pananaliksik na nauugnay sa iyong pagmamasid. Kung gayon maaari itong makatulong sa pagsagot sa aming katanungan. Ang pagkaalam ng mayroon nang pananaliksik o mga eksperimento ay makakatulong sa amin na istraktura nang mas mahusay ang aming eksperimento, o marahil ay sagutin ang aming tanong at hindi kailangang magsagawa ng eksperimento sa unang lugar.

Hakbang 3

Bumuo ng isang Null Hypothesis at isang Alternatibong Hypothesis

Ang isang alternatibong hypothesis ay ang aming pinag-aralan na hula at isang null hypothesis ay kabaligtaran lamang. Kung sinabi ng kahalili na hypothesis na mayroong isang makabuluhang ugnayan sa pagitan ng dalawang variable, ang null hypothesis ay nagsasabing walang makabuluhang relasyon.

Ang aming Null Hypothesis ay magiging: Walang pagkakaiba-iba sa istatistika sa mga layunin na pinahihintulutan sa mga koponan na may rating ng pagsalakay sa pagtatalakay na mas malaki kaysa o katumbas ng 65 kumpara sa mga koponan sa ibaba 65.

Alternatibong Hypothesis: Mayroong pagkakaiba-iba sa istatistika sa mga layunin na pinapayagan sa mga koponan na may isang rating ng pagsalakay sa pagtatalakay na mas malaki kaysa o katumbas ng 65 laban sa mga koponan sa ibaba 65.

Hakbang 4

Alamin kung ang aming hypothesis ay isang one-tailed test o isang two-tailed test.

One-Tailed Test

"Kung gumagamit ka ng isang antas ng kabuluhan ng 0,05, ang isang isang tailed test ay nagbibigay-daan sa lahat ng iyong alpha upang subukan ang statistic kahalagahan sa isang direksyon ng interes." Ang isang halimbawa ng isang isang buntot na pagsubok ay ang "Mga koponan ng Soccer na may rating ng pagsalakay na mas mababa kaysa sa 65 pinapayagan ang istatistika na higit na makabuluhan kaysa sa mga koponan na may mas mababang rating kaysa 65."

Two-Tailed Test

"Kung gumagamit ka ng isang antas ng kabuluhan ng 0,05, ang isang two-tailed test ay nagbibigay-daan sa kalahati ng iyong alpha upang subukan ang statistic na kahalagahan sa isang direksyon at kalahati ng iyong alpha upang subukan ang statistic na kabuluhan sa iba pang direksyon. Nangangahulugan ito na ang 0.025 ay nasa bawat buntot ng pamamahagi ng iyong istatistika sa pagsubok. "

Sa pamamagitan ng isang dalawang-buntot na pagsubok, sinusubukan mo ang statistic kahalagahan sa parehong direksyon. Sa aming kaso, sinusubukan namin ang statistic kahalagahan sa parehong direksyon.

Hakbang 5

Magtakda ng antas ng kabuluhan ng antas (alpha)

(halaga ng alpha): Ang marginal threshold kung saan okay tayo sa pagtanggi sa null hypothesis. Ang isang halaga ng alpha ay maaaring maging anumang halaga na itinakda namin sa pagitan ng 0 at 1. Gayunpaman, ang pinakakaraniwang halaga ng alpha sa agham ay 0.05. Ang isang alpha na nakatakda sa 0,05 ay nangangahulugang okay tayo sa pagtanggi sa null hypothesis kahit na mayroong isang 5% o mas kaunting pagkakataon na ang mga resulta ay dahil sa randomness.

P-halaga: Ang kinakalkula na posibilidad na makarating sa data na ito nang random.

Kung kinakalkula namin ang isang p-halaga at lumabas ito sa 0.03, maaari nating bigyang kahulugan ito na nagsasabing "May 3% na pagkakataon na ang mga resulta na nakikita ko ay talagang dahil sa randomness o purong suwerte".

Larawan mula sa Learn.co

Ang aming layunin ay upang makalkula ang p-halaga at ihambing ito sa aming alpha. Ang mas mababa sa alpha ay mas mahigpit ang pagsubok.

Hakbang 6

Magsagawa ng Sampling

Narito mayroon kaming tinawag na aming soccer. Para sa aming pagsubok, kailangan lamang namin ng dalawang mga haligi sa aming hanay ng data: team_def_aggr_rating at mga layunin na binigyan. Kami ay i-filter ito sa mga dalawang haligi at pagkatapos ay lumikha ng dalawang mga subset para sa mga koponan na may nagtatanggol na rating ng pagsalakay ng mas malaki kaysa o katumbas ng 65 at mga koponan na may nagtatanggol na rating ng pagsalakay sa ibaba 65.

I-recap lang para sa aming hypothesis test:

Epekto ng pagsalakay sa pagtatanggol sa average na pinapayagan na mga layunin. Null Hypothesis: Walang pagkakaiba-iba sa istatistika sa mga layunin na pinahihintulutan sa mga koponan na may isang rating ng agresyon ng pagtatanggol na mas malaki kaysa o katumbas ng 65 laban sa mga koponan sa ibaba 65. Alternatibong Hypothesis: Mayroong isang pagkakaiba-iba sa istatistika sa mga layunin na pinapayagan sa mga koponan na may isang pagtatanggol sa pagsulong ng pagsalakay ng higit na higit kaysa o katumbas ng 65 laban sa mga koponan sa ibaba 65. Dalawang-tailed Test Alpha: 0.05

Ngayon mayroon kaming dalawang mga listahan ng mga sample na maaari naming magpatakbo ng mga pagsubok sa istatistika. Bago ang hakbang na iyon, magplano ako ng dalawang pamamahagi upang makakuha ng isang visual.

Hakbang 7

Magsagawa ng Two-Sample T-test

Ang dalawang-sample na t-test ay ginagamit upang matukoy kung pantay ang ibig sabihin ng dalawang populasyon. Para sa mga ito, gagamitin namin ang module ng Python na tinatawag na statsmodels. Hindi ako pupunta sa sobrang detalye tungkol sa mga statsmodels ngunit makikita mo dito ang dokumentasyon.

Hakbang 8

Suriin at Magtapos

Alalahanin na ang alpha na itinakda namin ay isang = 0,05. Tulad ng nakikita natin mula sa aming mga resulta ng pagsubok na ang p-halaga ay mas mababa sa aming alpha. Maaari naming tanggihan ang aming null hypothesis at may 95% tiwala na tanggapin ang aming alternatibong hypothesis.

Salamat sa pagbabasa! Para sa higit pang malalim na pagsusuri sa hypothesis, maaari mong suriin ang proyektong ito sa pangkat sa GitHub na nasangkot ako sa pagsubok sa hypothesis.

Mga Mapagkukunan:

Ovens, Mateo. "Mga Istatistika at ang" Pamamantayang Siyentipiko "Na nakuha mula sa IyongStatsGuru. https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

Panimula sa SAS. UCLA: Statistics Consulting Group. mula sa https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-between-one-tailed-and-two-tailed-tests/ (naka-access Mayo 16, 2019).

Handbook ng Statistics Statistics. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm