Metode BACKWARD

Metode backward, adalah memasukkan prediktor semuanya kemudian mengeliminasi satu persatu hingga tersisa prediktor yang signifikan saja. Eliminasi didasarkan pada prediktor yang memiliki nilai sig. F yang di atas α atau berdasarkan nilai |t_hit| < t_{1-a/2;db.error}.

Metode ini dapat dilaksanakan dengan langkah-langkah berikut:

1.      Mulai dengan memasukkan semua variabel predictor ke dalam model.

2.      Lakukan estimasi model dan keluarkan variabel predictor yang tidak signifikan.

3.      Ulangi fitting model dan estimasi model kembali.

4.      Pengujian dihentikan jika semua variabel predictor dalam model telah signifikan terhadap variabel respon.

Nilai dari α tidak selalu harus bernilai 5 % dan sering disebut p- to remove. 

Metode STEPWISE

Regresi Stepwise adalah salah satu metode untuk mendapatkan model terbaik dari sebuah analisis regresi. Secara definisi, metode ini merupakan gabungan antara metode forward dan backward, dimana dalam metode ini semua variabel prediktor dimasukkan ke dalam model dan nantinya akan dibuang jika tidak signifikan terhadap variabel respon.

Variabel yang pertama kali masuk adalah variabel yang korelasinya tertinggi dan signifikan dengan variabel respon, variabel yang masuk kedua adalah variabel yang korelasi parsialnya tertinggi dan masih significant,  setelah variabel prediktor masuk ke dalam model maka variabel lain yang ada di dalam model dievaluasi, jika ada variabel yang tidak significant maka variabel tersebut dikeluarkan dari dalam model.

metode forward

Untuk mendapatkan model terbaik dalam sebuah analisis regresi maka diperlukan pengujian terhadap variabel prediktor yang dimasukkan ke dalam model. Hal ini untuk menghindari terdapatnya beberapa variabel prediktor yang tidak berpengaruh secara signifikan terhadap variabel respon yang berada dalam model walaupun sesungguhnya variabel tersebut berhubungan sangat erat dengan variabel respon Y.  Selain itu juga, untuk melihat apakah antar variabel prediktor saling berkorelasi satu sama lain atau terjadi kasus multikolinearitas. Untuk mendapatkan model yang diinginkan terdapat dua pertimbangan dalam pembentukan model, diantaranya:

1.      Agar persamaan regresi bermanfaat untuk tujuan prediksi, seringkali diinginkan model yang memuat sebanyak-banyaknya variabel X (prediktor) yang mempengaruhi variabel Y (respon)

2.      Karena pertimbangan biaya untuk mendapatkan informasi, maka digunakan  sesedikit mungkin variabel X (prediktor) yang mempengaruhi variabel Y (respon)

Untuk itu dibutuhkan metode untuk dapat mengakomodasikan dua kepentingan di atas dengan cara Selecting the best regression equation. Berikut ini adalah cara-cara yang sering digunakan dalam memilih model terbaik.         

Metode FORWARD

Metode forward adalah memasukkan prediktor secara bertahap berdasarkan korelasi parsial terbesar. Dalam metode forward variabel prediktor yang dimasukkan dalam model tidak dapat dikeluarkan lagi. Proses tersebut dihentikan ketika prediktor-prediktor baru tidak bisa meningkatkan berpengaruh secara signifikan (sig di bawah 0.05) terhadap variable respon.

Prosedur eliminasi forward adalah salah satu prosedur pemilihan model terbaik dalam regresi dengan eliminasi variabel bebas yang membangun model secara bertahap. Terdapat beberapa cara pengujian dengan metode forward, yang akan dibahas kali ini adalah dengan menggunakan uji F dan uji t-student dengan software SPSS.

Langkah-langkah pengujian dengan uji F adalah sebagai berikut:

1. Membuat model regresi sederhana untuk setiap variabel bebas. Kemudian, setiap model dilakukan uji slope dengan uji F. Kita bandingkan nilai-nilai F tertinggi, misalnya F_L, dengan nilai F bertaraf nyata tertentu dari tabel , misalnya F₀.

a.                   Jika F_L < F₀, berarti tidak ada variabel bebas yang terpilih.

b.                   Jika F_L > F₀, masukkan variabel bebas L ke dalam model.

2. Jika pada tahap 1 ada variabel bebas yang dimasukkan (misal L), maka kita membuat model regresi dengan dua variabel bebas di mana salah satunya adalah variabel L, misalkan variabel bebas L dan K. Kemudian kita lakukan uji F parsial:

F_K = 

kemudian kita bandingkan nilai-nilai F tertinggi, misalnya F_K dengan nilai F bertaraf nyata tertentu dari tabel, misalnya F₀.

a.                   Jika F_K < F₀, berarti hanya variabel bebas yang lolos pada tahap 1 yang digunakan dalam model.

b.                   Jika F_K > F₀, masukkan variabel bebas K dimasukkan ke dalam model.

3. Jika pada tahap 2 ada variabel bebas yang dimasukkan (misal K), maka stepwise memeriksa apakah ada variabel bebas yang sudah ada dalam model dikeluarkan. Kita lakukan uji F parsial: F_L= .

a.                   Jika F_L < F₀, berarti variabel bebas L dikeluarkan dari model.

b.                  Jika F_K > F₀, berarti variabel bebas L dan K dimasukkan dalam model.

4. Misalkan variabel bebas L dipertahankan. Jadi, sekarang variabel bebas L dan K digunakan dalam model. Selanjutnya, tahapan berulang sampai tidak ada lagi variabel bebas yang ditambahkan atau dibuang. Artinya, pekerjaan telah selesai.

Langkah-langkah forward dengan uji t menggunakan software, yaitu :

1.      Mulai dari awalnya tidak ada model yang ada dalam model.

2.      Memasukkan variabel prediktor secara bertahap berdasarkan korelasi parsial terbesar ke dalam model. Variabel prediktor yang dimasukkan adalah variabel prediktor yang nilai p-valuenya kurang dari nilai α yang telah ditentukan (α=0.05 %)

3.      Lanjutkan sampai tidak terdapat lagi variabel predictor yang tidak dapat dimasukkan ke dalam model.

Untuk lebih jelas, contohnya terdapat dibawah ini:

Sebuah peneliti  ingin meneliti tentang hubungan antara gaji seorang ilmuwan matematikawan pada tingkat menengah dan senior (Y, dalam jutaan rupiah) dengan indeks kualitas publikasi (X1), jumlah tahun bekerja(X2), dan indeks keberhasilan dalam berkarya(X3).

No.	Y	X1	X2	X3
1	33.2	3.5	9	6.1
2	40.3	5.3	20	6.4
3	38.7	5.1	18	7.4
4	46.8	5.8	33	6.7
5	41.4	4.2	31	7.5
6	37.5	6	13	5.9
7	39	6.8	25	6
8	40.7	5.5	30	4
9	30.1	3.1	5	5.8
10	52.9	7.2	47	8.3
11	38.2	4.5	25	5
12	31.8	4.9	11	6.4
13	43.3	8	23	7.6
14	44.1	6.5	35	7
15	42.8	6.6	39	5
16	33.6	3.7	21	4.4
17	34.2	6.2	7	5.5
18	48	7	40	7
19	38	4	35	6
20	35.9	4.5	23	3.5
21	40.4	5.9	33	4.9
22	36.8	5.6	27	4.3
23	45.2	4.8	34	8
24	35.1	3.9	15	5

Misalkan terdapat 3 variabel respon, yaitu , , dan   maka model yang dapat dibentuk:

Y =  +   + +  +

Pengujian dengan metode Forward:

1.      Hitung koefisien korelasi setiap variabel independen dengan variabel dependen.

                                                                

2.      Koefisien korelasi  x₂  dengan Y paling mendekati |1|, sehingga variabel x₂ adalah variabel pertama yang masuk ke dalam model.

3.      Estimasi model regresi dengan variabel independen x₂

                                                                   Coefficients(a)

  

 

Model		Unstandardized Coefficients		Standardized Coefficients	t	Sig.
		B	Std. Error	Beta	B	Std. Error
1	(Constant)	29.048	1.454		19.978	.000
	X2	.419	.053	.859	7.854	.000

a  Dependent Variable:

4. Karena |t_hit| > t_{1-α/2;db.error} atau p-value < α (= 5 %), maka variabel x₂ signifikan masuk ke dalam model. Hitung korelasi parsial variabel independen tersisa, x1 dan x3 dengan Y. Sebagai variabel kontrol adalah variabel yang sudah masuk ke dalam model, x_2.

5.      Berdasarkan output SPSS di atas, x₁ mempunyai koefisien korelasi parsial paling mendekati |1|, sehingga x₁ masuk ke dalam model setelah x_2.

6.      Estimasi kembali model regresi, dengan memasukkan variabel x₁ setelah x_2.

                                                                   Coefficients(a)

  

 

Model		Unstandardized Coefficients		Standardized Coefficients	t	Sig.
		B	Std. Error	Beta	B	Std. Error
1	(Constant)	24.348	3.707		6.569	.000
	X1	2.828	.673	.667	4.200	.000

^a  Dependent Variable: Y

7.      Karena |t_hit| > t_{1-a/2;db.error} atau p-value < α , maka variabel x₂ dan x₁ signifikan masuk ke dalam model. Estimasi variabel x₃ dengan Y, sebagai variabel kontrol adalah x₂ dan x₁ dan bandingkan dengan nilai t_{1-a/2;db.error}  jika signifikan maka x₃  juga masuk dalam model.

                                                                          Coefficients(a)

  

 

Model		Unstandardized Coefficients		Standardized Coefficients	t	Sig.
		B	Std. Error	Beta	B	Std. Error
1	(Constant)	25.465	4.548		5.600	.000
	X3	2.344	.743	.558	3.156	.005

^a  Dependent Variable: Y

8.       Karena |t_hit| > t_{1-a/2;db.error} atau p-value < α, maka variabel x₃ juga dapat dimasukkan dalam model. Sehingga model yang dibentuk yaitu:

Y = 17.847 + 1.103  + 0.322  + 1.289

Jika kita uji secara langsung dengan SPSS maka didapatkan:

                                                                Variables Entered/Removed(a)

Model	Variables Entered	Variables Removed	Method
1	X2	.	Forward (Criterion: Probability-of-F-to-enter <= .050)
2	X3	.	Forward (Criterion: Probability-of-F-to-enter <= .050)
3	X1	.	Forward (Criterion: Probability-of-F-to-enter <= .050)

     ^a  Dependent Variable: Y

dari hasil diatas maka terlihat bahwa ketiga variabel predictor diatas memang dapat dimasukkan ke dalam model.