Analisis ini pertama kali ditemukan oleh Sir Francis Galton pada tahun 1877 sehubungan dengan penelitiannya terhadap tinggi manusia, yaitu antara tinggi anak dan tinggi orang tuanya. Pada penelitiannya Galton mendapatkan bahwa tinggi anak dari orang tua yang tinggi cenderung meningkat atau menurun dari berat rata-rata populasi. Garis yang menunjukkan hubungan tersebut disebut garis regresi. (wikipedia)
Analisis regresi pada umumnya bertujuan untuk membuat sebuah pemodelan. Dari pemodelan tersebut akan dapat diketahui hubungan atau pengaruh antar variabel. Oleh karena itu, metode regresi seringkali digunakan sebagai alat untuk mengetahui hubungan antar variabel.
Metode regresi sudah mengalami banyak perkembangan, karena dalam pemodelan yang nyata selalu menuntut adanya kesalahan yang kecil. Salah satu metode yang sering digunakan sebagai pemodelan adalah metode regresi linier atau regresi linier berganda. Metode ini dianggap sebagai metode yang sederhana dan mudah diaplikasikan. Namun percobaan menggunakan metode lain (yang sudah dikembangkan seperti regresi ridge, regresi spline, regresi terboboti, dll.) bisa jadi akan memberikan hasil yang lebih baik, karena memang pada dasarnya kebutuhan akan suatu pemodelan sangat tergantung pada bentuk data yang diperoleh. Sebagai contoh sederhana, berikut ini diberikan model umum dari persamaan regresi linier Y terhadap X :
Y = a + b X (1)Keterangan:
Y = variabel respon
X = variabel bebas
a = intersep
b = koefisien regresi/slop
model diatas (1) menggambarkan hubungan positif antara X dengan Y dimana setiap adanya satu satuan kenaikan X maka akan diikuti kenaikan Y sebesar ‘b’ (slop). Nilai Y akan sama dengan ‘a’ jika nilai X adalah nol.
