こんにちは。データ分析部の長尾です。
今回は心理学において有名な実験である「アイオワ・ギャンブリング課題」を題材として，ベイズ統計によるモデリング方法を紹介します。
突然ですが、パチンコのホールを思い浮かべてください。パチンコではまず，出玉の多そうな台を野生の勘で選び，その台でしばらく様子を見ます。出玉が少ないようであれば，他の台に移り，またしばらく打ちます。個人差はありますが，上述の探索行動を繰り返し，最終的には，一番期待できそうな台に落ち着いて，利益を最大化するよう努めます。このような意思決定のプロセスを模倣した実験のひとつにアイオワ・ギャンブリング課題(Iowa Gambling Tasks, IGT; Bechara, Damasio, Damasio & Anderson, 1994)があります。
IGTとは
IGTにおいて，実験参加者には，あらかじめ2000ドルの所持金がヴァーチャルに付与されます。参加者は図1で示したような4つのカードのデッキから，どれか1つのデッキを自由に選び，1枚カードを引く試行を繰り返し行います。
カードの裏には報酬額もしくは損失額が記載されており，デッキ毎にそれらの金額と出現頻度は違います。表1に示したように，AとBのデッキからは毎回100ドルの報酬が得られるのに対し，CとDのデッキからは毎回50ドルと控えめです。しかしながら，10枚当たりの損失額はAとBのデッキでは1250ドルと大きいのに対し，CとDのデッキでは250ドルと抑えられています。結局，10枚当たりの純利益は，AとBのデッキで-250ドル，CとDのデッキで250ドルとなり，CもしくはDのデッキを選ぶ方が明らかに得です。
参加者は実験を通して，所持金を最大化するよう教示されます。このため，試行を繰り返し，デッキを探索しながら，それぞれのデッキの性質を学習することが参加者には求められます。最終的には，AとBのデッキを避け，CもしくはDのデッキを選ぶことが望ましい方略となります。しかしながら，健常群と比較して，麻薬中毒や強迫性障害といった臨床群ではこの方略を獲得する能力が低いことが指摘されており(Wetzels, Vandekerckhove, Tuerlinckx & Wagenmakers, 2010)，IGTは様々な臨床群における意思決定能力の欠如の度合いを評価するために用いられます。
PVL-Deltaモデル
PVL-Deltaモデル(prospect valence learning delta model)はIGTにおける意思決定を評価するモデルとして， Ahn et al.(2008)によって提案されました。PVL-Deltaモデルは過去の試行に対する強化学習をルール化したモデルであり，4つのパラメータによって，参加者の心理プロセスを表現します。
まず，参加者は試行
ここで，
次に，試行
母数
さらに，試行
ここで，
すなわち，一貫性
最後に，観察される試行
ひとりの参加者を分析
当社の社員7名(A～Gさん)から得たデータを用いて，ここでは参加者の1人であるDさんの分析を行います。PVL-Deltaモデルについて，母数
分析結果
Dさんの母数の事後分布の事後平均(EAP)，事後標準偏差(post.sd)，95%確信区間は表2のようになりました。
表2より，Dさんの更新比率
図2より，Dさんは報酬より損失にやや敏感な傾向があることがみてとれます。
ここまで，ひとりの参加者に的を絞った分析を行ってきました。ベイズ推定の利点は母数に対する確信を区間で表現できる点ですが，表2における
階層ベイズモデルを用いた分析
階層ベイズモデルでは，参加者を表す添え字
心理学的な特性値である
\alpha_i=\Phi(\delta_1|\mu_1, \sigma_1)
\lambda_i=5\times\Phi(\delta_2|\mu_2, \sigma_2)
a_i=\Phi(\delta_3|\mu_3, \sigma_3)
c_i=5\times\Phi(\delta_4|\mu_4, \sigma_4)
ここで，
超母数である4変量正規分布の平均ベクトルと共分散行列にはそれぞれ以下の正規分布と逆ウィシャート分布を事前分布として仮定します。
\mu_1, \mu_2, \mu_3, \mu_4 \sim Normal(0, 1)
\bold{\Sigma} \sim Wishart^{-1}(4, I_4)
最後に，
分析結果
当社の社員7名から得たデータ全てを用いた場合の階層ベイズモデルによる推定結果を表3に示します。
表3より，更新比率
母数間の相関関係は表4のようになりました。
表4より，
最後に，7名の社員それぞれのプロスペクト曲線を図3に示します。
図3より，Aさん(赤)やEさん(紫)は純利益が正であれば，効用が極端に高くなり，純利益が負であれば，効用が極端に低くなる傾向があります。個人的には，AさんとEさんは，実験に対して並々ならぬモチベーションを有したギャンブラー気質の持ち主であるという印象を受けました。また，Bさん(緑)とCさん(青)は正の純利益に関しては，同じように効用を得ていますが，負の純利益に関しては，Cさんの方がさらに敏感に反応しており，プロスペクト理論の標準的な結果に近くなっています。
Stan・Rコード
まず，階層モデルのMCMCモデリングを行ったStanコードを以下に示します(‘PVL_delta_multi.stan’として保存)。
data {
int<lower=1> T;
int<lower=1> K;
int<lower=1> N;
matrix[4,4] R;
int<lower=1,upper=K> y[T,N];
int<lower=-1150,upper=100> x[T,N];
}
parameters {
vector[4] Eta[N];
vector[4] Mu;
cov_matrix[4] Sigma;
}
transformed parameters {
real<lower=0,upper=242> theta[N];
real u[T,N];
vector[K] Eu[T,N];
simplex[K] p[T,N];
real<lower=0,upper=1> alpha[N];
real<lower=0, upper=5> lambda[N];
real<lower=0,upper=1> a[N];
real<lower=0, upper=5> c[N];
for(n in 1:N){
alpha[n] = normal_cdf(Eta[n,1],Mu[1],sqrt(Sigma[1,1]));
lambda[n] = 5*normal_cdf(Eta[n,2],Mu[2],sqrt(Sigma[2,2]));
a[n] = normal_cdf(Eta[n,3],Mu[3],sqrt(Sigma[3,3]));
c[n] = 5*normal_cdf(Eta[n,4],Mu[4],sqrt(Sigma[4,4]));
}
for(n in 1:N){
theta[n] = pow(3,c[n])-1;
for(t in 1:T){
if(x[t,n]>=0) u[t,n] = pow(x[t,n],alpha[n]);
else u[t,n] = -lambda[n]*pow(fabs(x[t,n]),alpha[n]);
}
}
for(n in 1:N){
for(k in 1:K){
Eu[1,n,k] = 0; // 1回目の試行での期待効用を0に設定
p[1,n,k] = 0.25; // 1回目の試行での各デッキの選択確率を等確率に設定
}
}
for(t in 2:T){
for(n in 1:N){
for(k in 1:K){
if(y[t-1,n]==k)
Eu[t,n,k] = (1-a[n])*Eu[t-1,n,k] + a[n]*u[t-1,n];
else
Eu[t,n,k] = Eu[t-1,n,k];
}
p[t,n] = softmax(theta[n]*Eu[t,n]);
}
}
}
model {
Mu~normal(0,1);
Sigma~inv_wishart(4,R);
Eta~multi_normal(Mu,Sigma);
for(n in 1:N){
for(t in 1:T){
y[t,n]~categorical(p[t,n]);
}
}
}
generated quantities{
matrix[4,4] Rho;
for(i in 1:4){
for(j in 1:4){
Rho[i,j] = Sigma[i,j]/sqrt(Sigma[i,i]*Sigma[j,j]);
}
}
}
MCMC分析を行うRコードは以下のとおりです。
# ライブラリ読み込み
library(rstan)
# データの読み込み
dat1<-read.csv("IGT_data/igtlog-A.csv",header=T)
dat2<-read.csv("IGT_data/igtlog-B.csv",header=T)
dat3<-read.csv("IGT_data/igtlog-C.csv",header=T)
dat4<-read.csv("IGT_data/igtlog-D.csv",header=T)
dat5<-read.csv("IGT_data/igtlog-E.csv",header=T)
dat6<-read.csv("IGT_data/igtlog-F.csv",header=T)
dat7<-read.csv("IGT_data/igtlog-G.csv",header=T)
# Stanコードでの変数を設定
T<-max(dat1$trialnum) # 試行数(150回)
K<-4 # デッキ数
N<-7 # 参加者数
y<-structure(c(dat1$deck,dat2$deck,dat3$deck,dat4$deck,dat5$deck,dat6$deck,dat7$deck),.Dim=c(T,N))
x<-structure(c(dat1$net,dat2$net,dat3$net,dat4$net,dat5$net,dat6$deck,dat7$deck),.Dim=c(T,N))
R<-diag(1,4)
dat<-list(T=T, K=K, N=N, y=y, x=x, R=R)
# モデルのコンパイル
stanmodel <- stan_model(file='PVL_delta_multi.stan')
# MCMCサンプリング
fit <- sampling(
stanmodel,
data=dat,
seed=1234,
chains=3, iter=10000, warmup=5000)
#結果の表示
print(fit)
参考文献
- Ahn, W.-Y., Busemeyer, J. R., Wagenmakers, E.-J., & Stout, J. C. (2008, December). Comparison of decision learning models using the generalization criterion method. Cognitive science,32(8),1376–402.
- Bechara, A, Damasio, A. R., Demasio, H., & Anderson, S. (1994). Insensitivity to future consequences following damage to human prefrontal cortex. Cognition, 57, 7-15.
- Steingroever, H., Wetzels, R., & Wagenmakers, E. J. (2013). Validating the PVL-Delta model for the Iowa gambling task. Frontiers in psychology, 4.
- Wetzels, R., Vandekerckhove, J., Tuerlinckx, F., & Wagenmakers, E. J. (2010). Bayesian parameter estimation in the Expectancy Valence model of the Iowa gambling task. Journal of Mathematical Psychology, 54(1), 14-27.