markdown
學 R 也有一陣子了，一直以來都是在整理自己的資料。這次來嘗試整理別人的資料，先從 Kaggle 上鐵達尼號的資料來試試。
https://www.kaggle.com/c/titanic
由於我不是資料或統計相關科系畢業的人士，過程中也參考了不少網路資料。
http://www.jasongj.com/ml/classification/
以上連結是我主要參考的網站，是鐵達尼資料分析的詳細過程。指令出問題時則是直接去 stackoverflow 找答案。
資料下載下來共有 3 個 csv 檔，分別為 train, test, gender submission。train 是要拿來建立模型的資料，預測 test 資料中乘客的生存，最後以 gender submission 的資料形式提交答案至 Kaggle 上面。
```
train <- read.table("clipboard", header = T, sep = "\t", na.strings = c("", " ", "NA"), quote = "")
test <- read.table("clipboard", header = T, sep = "\t", na.strings = c("", " ", "NA"), quote = "")
```
首先是匯入資料，同時將空白資料補上 NA，一直以來我都習慣用複製貼上的方式，不過這樣不太好，以後還是設定一下路徑會比較好。
```
library(ggplot2)
library(dplyr)
library(ggthemes)
library(scales)
library(rpart)
library(randomForest)
library(party)
titanic <- bind_rows(train, test)
sapply(titanic, function(x) sum(is.na(x)))
```
載入所需要的 package，計算一下那些變數有 NA。
```
titanic$family <- titanic$SibSp + titanic$Parch + 1
ggplot(titanic, aes(family, fill = factor(Survived))) +
geom_bar(stat = "count", position = "dodge") +
labs(x = "Family size")
titanic$fsize[titanic$family == 1] <- "single"
titanic$fsize[titanic$family > 1 & titanic$family < 5] <- "small"
titanic$fsize[titanic$family > 4] <- "large"
mosaicplot(table(titanic$fsize, titanic$Survived), main = "Family size vs survival")
```
接下來就是逐一檢視每個變數，不過這裡我偷懶，我直接挑選我主觀意識認為會影響存活的變數來分析。
大家庭可能會沒有辦法每個人都登上救生艇，獨身一人可能會沒有人幫忙你逃命。所以將 SibSp 與 Parch 變數合併為 family，圖中可以看到 2-4 人的家庭其存活數比未存活數高，所以再將 family 簡化為 single、small、large 新命名為 fsize。再做成馬賽克圖比較一下，大家庭的存活數會是最低的。
```
titanic[is.na(titanic$Embarked), ]
ggplot(titanic, aes(Embarked, Fare, fill = factor(Pclass))) +
geom_boxplot()
titanic$Embarked[c(62, 830)] <- "C"
```
找出缺失 Embarked 的資料，一般來說票價會與船艙等級或登入港口有關係，所以這邊做了一個盒子圖來看看。缺失的資料只有 2 個並不多，以中位數的方式填補資料空缺，Pclass = 1、Fare = 80 的中位數情況很符合 Embarked = C。
```
titanic[is.na(titanic$Fare), ]
titanic$Fare[1044] <- median(titanic[titanic$Pclass == "3" & titanic$Embarked == "S", ]$Fare, na.rm = T)
```
Fare 的缺失值只有一個，同樣以中位數的方式填補空缺。
```
age_model <- rpart(Age ~ Pclass + Sex + SibSp + Parch + Fare + Embarked + fsize, data = titanic[!is.na(titanic$Age), ], method = "anova")
titanic$Age[is.na(titanic$Age)] <- predict(age_model, titanic[is.na(titanic$Age), ])
sapply(titanic, function(x) sum(is.na(x)))
```
再來是年齡的部分，由於年齡的缺失較多，不宜使用中位數法來填補空缺。這裡使用 rpart 來推測，變數使用家庭相關的變數以及票價相關的變數。檢查還有哪些缺失值，由於 cabin 的缺失值較多，這裡就直接捨棄不處理。
```
train_complete <- titanic[1:891, ] %>% mutate_if(is.character, as.factor)
test_complete <- titanic[892:1309, ] %>% mutate_if(is.character, as.factor)
```
再將檔案分回原本的 train 與 test，將 character 的特性資料轉為 factor，避免跑模型的時候出現錯誤。
```
model <- glm(Survived ~ Pclass+Sex+Age+Fare+Embarked+fsize, data = train_complete, family = binomial(link = "logit"))
predict_survival <- predict.glm(model, test_complete, type = "response")
survive <- ifelse(predict_survival >= 0.5, 1, 0)
```
這裡使用比較簡單的邏輯斯分析，跑出來的結果在 0.5 以上則認定為存活，將數值改為 1，反之，則改為 0。
```
submit <- data.frame(PassengerId = test_complete$PassengerId, Survived = survive)
write.csv(submit, file = "titanic_submit.csv", row.names = F)
```
存檔並將資料格式改為符合 kaggle 要求的樣式，直接將存好的檔案拖曳上去 kaggle 鐵達尼的繳交頁面即可。準確率只有 0.75598，排名 9062 名。
其實很多資料還可以做更進一步的整理，例如姓名與年齡可以再做一些分級處理。分析模型可以採用比較好的 randomforest，還有很多改進的空間。
