Reliability Procedure Examples
Overview
This session we shall work through some basic procedures for calculating reliability. The example makes use of data from the Stanford-Binet Intelligence Test.
We illustrate estimation of reliability using …
alternate forms
test-retest
internal consistency
Alternate Forms Reliability
In 1937, a revision of the 1916 Stanford-Binet was written. In the revision process, there were two forms of the Test, Form L and Form M. In 1931, as part of the Standardization Sample of the revised Stanford-Binet, a sample of children were given both forms of the test.
Reading in the data … 1931 Stanford-Binet Intelligence Test - Form L & M
sb = read.table('bwsb31.dat', na.strings='.')
names(sb)=c('id','BW_SB','SB_IQ','SB_L','SB_M','TAGE')
head(sb)## id BW_SB SB_IQ SB_L SB_M TAGE
## 1 92001 119 119 118 120 NA
## 2 92002 110 110 105 116 NA
## 3 92003 120 120 119 121 NA
## 4 92004 78 78 77 80 NA
## 5 92005 81 81 77 86 NA
## 6 92006 102 102 105 100 NADescriptives of the two forms
## vars n mean sd median trimmed mad min max range skew kurtosis se
## X1 1 110 111.34 16.53 111 111.02 16.31 74 163 89 0.21 0.1 1.58## vars n mean sd median trimmed mad min max range skew kurtosis se
## X1 1 110 111.21 16.32 110.5 110.78 15.57 75 164 89 0.31 0.12 1.56Visual Descriptives of the two forms. Seeing the data always makes one feel better.
#histogram Form L
sb %>%
ggplot(aes(x=SB_L, y=..density..)) +
geom_histogram(binwidth=2.5, fill="white", color="black") +
geom_density(color="red") +
xlab("Scores (Form L)")## Warning: The dot-dot notation (`..density..`) was deprecated in ggplot2 3.4.0.
## ℹ Please use `after_stat(density)` instead.
## This warning is displayed once every 8 hours.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.
#histogram Form M
sb %>%
ggplot(aes(x=SB_M, y=..density..)) +
geom_histogram(binwidth=2.5, fill="white", color="black") +
geom_density(color="red") +
xlab("Scores (Form M)")
#Bivariate scatter plot
sb %>%
ggplot(aes(x = SB_L, y = SB_M)) +
geom_point() +
#geom_smooth(method=lm, se=FALSE, fullrange=TRUE) +
#stat_ellipse() +
xlab("Form L") +
ylab("Form M") +
ggtitle("Alternate Forms Reliability")
Correlation between alternate forms is an estimate of the reliability of the test.
## SB_L SB_M
## SB_L 1.0000000 0.8365627
## SB_M 0.8365627 1.0000000#note that it is ambiguous which specific correlation to use, so we just go with default
#see ... http://stats.stackexchange.com/questions/8071/how-to-choose-between-pearson-and-spearman-correlation ... Spearman is monotonic (i.e., ranks), Pearson is linear.
cor(sb$SB_L, sb$SB_M)## [1] 0.8365627Estimated Alternate Forms Reliability is .84.
Test-Retest Reliability
In the Intergenerational Studies, participants took the Stanford-Binet Form L in consecutive years (ages 8 & 9) The test-retest correlation is an estimate of the test’s reliability;
Berkeley Growth Study - Stanford-Binet Intelligence Test - Ages 8 & 9 Reading in the data
## t8_iq t9_iq
## 1 115 105
## 2 79 78
## 3 100 94
## 4 142 137
## 5 121 124
## 6 131 143Descriptives of the two assessments
## vars n mean sd median trimmed mad min max range skew kurtosis
## t8_iq 1 48 124.85 20.36 127.0 125.78 18.53 76 160 84 -0.50 -0.15
## t9_iq 2 48 129.44 21.60 133.5 131.02 20.76 76 161 85 -0.65 -0.27
## se
## t8_iq 2.94
## t9_iq 3.12
#Bivariate scatter plot
sb_89 %>%
ggplot(aes(x = t8_iq, y = t9_iq)) +
geom_point() +
#geom_smooth(method=lm, se=FALSE, fullrange=TRUE) +
#stat_ellipse() +
xlab("Age 8") +
ylab("Age 9") +
ggtitle("Test-Retest Reliability")
Correlation between first assessment and retest assessment is an estimate of the reliability of the test.
## t8_iq t9_iq
## t8_iq 1.0000000 0.9089063
## t9_iq 0.9089063 1.0000000## [1] 0.9089063Estimated Test-Retest Reliability is .91.
Internal Consistency
Coefficient Alpha with Stanford-Binet at Age 8
Reading in the data
# Berkeley Growth Study - G2
sb_item = read.table('sb_item_age8.dat', na.strings='.')
names(sb_item)<- c('item1','item2','item3','item4','item5',
'item6','item7','item8','item9','item10',
'item11','item12','item13','item14','item15',
'item16','item17','item18','item19','item20',
'item21','item22','item23','item24','item25',
'item26','item27','item28','item29','item30',
'item31','item32','item33','item34','item35',
'item36','item37','item38','item39','item40',
'item41','item42','item43','item44','item45',
'item46','item47','item48','item49','item50',
'item51','item52','item53','item54','item55',
'item56','item57','item58','item59','item60',
'item61','item62','item63','item64','item65',
'item66','item67','item68','item69','item70',
'item71','item72','item73','item74','item75',
'item76','item77','item78','item79','item80',
'item81','item82','item83','item84','item85',
'item86','item87','item88','item89','item90',
'item91','item92','item93','item94','item95',
'item96','item97','item98','item99','item100',
'item101','item102','item103','item104','item105',
'item106','item107','item108','item09','item110')
head(sb_item)## item1 item2 item3 item4 item5 item6 item7 item8 item9 item10 item11 item12
## 1 1 1 1 1 1 1 1 1 1 1 1 1
## 2 1 1 1 1 1 1 1 1 1 1 1 1
## 3 1 1 1 1 1 1 1 1 1 1 1 1
## 4 1 1 1 1 1 1 1 1 1 1 1 1
## 5 1 1 1 1 1 1 1 1 1 1 1 1
## 6 1 1 1 1 1 1 1 1 1 1 1 1
## item13 item14 item15 item16 item17 item18 item19 item20 item21 item22 item23
## 1 1 1 1 1 1 1 1 1 1 1 1
## 2 1 1 1 1 1 1 1 1 1 1 1
## 3 1 1 1 1 1 1 1 1 1 1 1
## 4 1 1 1 1 1 1 1 1 1 1 1
## 5 1 1 1 1 1 1 1 1 1 1 1
## 6 1 1 1 1 1 1 1 1 1 1 1
## item24 item25 item26 item27 item28 item29 item30 item31 item32 item33 item34
## 1 1 1 1 1 1 1 1 1 1 1 1
## 2 1 1 1 1 1 1 1 1 1 1 1
## 3 1 1 1 1 1 1 1 1 1 1 1
## 4 1 1 1 1 1 1 1 1 1 1 1
## 5 1 1 1 1 1 1 1 1 1 1 1
## 6 1 1 1 1 1 1 1 1 1 1 1
## item35 item36 item37 item38 item39 item40 item41 item42 item43 item44 item45
## 1 1 1 1 1 1 1 1 1 1 1 1
## 2 1 1 1 1 1 1 1 1 0 1 1
## 3 1 1 1 1 1 1 1 1 1 1 1
## 4 1 1 1 1 1 1 1 1 1 1 1
## 5 1 1 1 1 1 1 1 1 1 1 1
## 6 1 1 1 1 1 1 1 1 1 1 1
## item46 item47 item48 item49 item50 item51 item52 item53 item54 item55 item56
## 1 1 1 1 1 1 1 1 1 1 1 1
## 2 1 1 1 1 0 1 0 0 0 0 1
## 3 1 1 1 1 1 1 1 1 1 0 1
## 4 1 1 1 1 1 1 1 1 1 1 1
## 5 1 1 1 1 1 1 1 1 1 1 1
## 6 1 1 1 1 1 1 1 1 1 1 0
## item57 item58 item59 item60 item61 item62 item63 item64 item65 item66 item67
## 1 1 1 1 1 0 0 1 1 0 1 0
## 2 0 0 0 0 0 0 0 0 0 0 0
## 3 0 0 1 0 1 0 1 0 0 0 0
## 4 1 1 1 1 0 0 1 1 1 1 0
## 5 1 1 1 1 1 1 1 1 1 1 0
## 6 1 1 1 1 1 1 0 1 1 0 1
## item68 item69 item70 item71 item72 item73 item74 item75 item76 item77 item78
## 1 0 0 1 1 1 0 0 0 1 1 0
## 2 0 0 0 0 0 0 0 0 0 0 0
## 3 0 0 0 1 1 0 0 0 0 0 0
## 4 0 1 1 1 0 0 1 0 1 1 1
## 5 0 1 0 1 1 1 1 0 0 1 1
## 6 0 0 1 1 0 0 1 0 0 0 1
## item79 item80 item81 item82 item83 item84 item85 item86 item87 item88 item89
## 1 0 0 0 0 0 0 0 0 0 0 0
## 2 0 0 0 0 0 0 0 0 0 0 0
## 3 0 0 0 0 0 0 0 0 0 0 0
## 4 0 0 0 0 0 0 0 0 0 0 0
## 5 0 1 0 0 0 1 1 1 1 0 1
## 6 0 1 0 0 1 0 0 0 0 0 0
## item90 item91 item92 item93 item94 item95 item96 item97 item98 item99 item100
## 1 0 0 0 0 0 0 0 0 0 0 0
## 2 0 0 0 0 0 0 0 0 0 0 0
## 3 0 0 0 0 0 0 0 0 0 0 0
## 4 0 0 0 0 0 0 0 0 0 0 0
## 5 1 0 0 0 0 0 0 0 0 0 0
## 6 0 0 0 0 0 0 0 0 0 0 0
## item101 item102 item103 item104 item105 item106 item107 item108 item09
## 1 0 0 0 0 0 0 0 0 0
## 2 0 0 0 0 0 0 0 0 0
## 3 0 0 0 0 0 0 0 0 0
## 4 0 0 0 0 0 0 0 0 0
## 5 0 0 0 0 0 0 0 0 0
## 6 0 0 0 0 0 0 0 0 0
## item110
## 1 0
## 2 0
## 3 0
## 4 0
## 5 0
## 6 0Descriptives of the item data
## vars n mean sd median trimmed mad min max range skew kurtosis se
## item1 1 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item2 2 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item3 3 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item4 4 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item5 5 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item6 6 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item7 7 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item8 8 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item9 9 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item10 10 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item11 11 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item12 12 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item13 13 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item14 14 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item15 15 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item16 16 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item17 17 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item18 18 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item19 19 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item20 20 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item21 21 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item22 22 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item23 23 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item24 24 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item25 25 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item26 26 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item27 27 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item28 28 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item29 29 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item30 30 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item31 31 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item32 32 53 0.98 0.14 1 1.00 0 0 1 1 -6.87 46.11 0.02
## item33 33 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item34 34 53 0.98 0.14 1 1.00 0 0 1 1 -6.87 46.11 0.02
## item35 35 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item36 36 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item37 37 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item38 38 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item39 39 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item40 40 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item41 41 53 0.98 0.14 1 1.00 0 0 1 1 -6.87 46.11 0.02
## item42 42 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item43 43 53 0.98 0.14 1 1.00 0 0 1 1 -6.87 46.11 0.02
## item44 44 53 0.96 0.19 1 1.00 0 0 1 1 -4.72 20.62 0.03
## item45 45 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item46 46 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item47 47 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item48 48 53 1.00 0.00 1 1.00 0 1 1 0 NaN NaN 0.00
## item49 49 53 0.94 0.23 1 1.00 0 0 1 1 -3.73 12.14 0.03
## item50 50 53 0.98 0.14 1 1.00 0 0 1 1 -6.87 46.11 0.02
## item51 51 53 0.96 0.19 1 1.00 0 0 1 1 -4.72 20.62 0.03
## item52 52 53 0.89 0.32 1 0.98 0 0 1 1 -2.37 3.70 0.04
## item53 53 53 0.89 0.32 1 0.98 0 0 1 1 -2.37 3.70 0.04
## item54 54 53 0.92 0.27 1 1.00 0 0 1 1 -3.12 7.91 0.04
## item55 55 53 0.92 0.27 1 1.00 0 0 1 1 -3.12 7.91 0.04
## item56 56 53 0.87 0.34 1 0.95 0 0 1 1 -2.11 2.51 0.05
## item57 57 53 0.75 0.43 1 0.81 0 0 1 1 -1.15 -0.69 0.06
## item58 58 53 0.85 0.36 1 0.93 0 0 1 1 -1.90 1.62 0.05
## item59 59 53 0.87 0.34 1 0.95 0 0 1 1 -2.11 2.51 0.05
## item60 60 53 0.79 0.41 1 0.86 0 0 1 1 -1.40 -0.04 0.06
## item61 61 53 0.85 0.36 1 0.93 0 0 1 1 -1.90 1.62 0.05
## item62 62 53 0.55 0.50 1 0.56 0 0 1 1 -0.18 -2.00 0.07
## item63 63 53 0.62 0.49 1 0.65 0 0 1 1 -0.49 -1.79 0.07
## item64 64 53 0.70 0.46 1 0.74 0 0 1 1 -0.84 -1.32 0.06
## item65 65 53 0.64 0.48 1 0.67 0 0 1 1 -0.57 -1.70 0.07
## item66 66 53 0.66 0.48 1 0.70 0 0 1 1 -0.66 -1.60 0.07
## item67 67 53 0.49 0.50 0 0.49 0 0 1 1 0.04 -2.04 0.07
## item68 68 53 0.45 0.50 0 0.44 0 0 1 1 0.18 -2.00 0.07
## item69 69 53 0.42 0.50 0 0.40 0 0 1 1 0.33 -1.92 0.07
## item70 70 53 0.64 0.48 1 0.67 0 0 1 1 -0.57 -1.70 0.07
## item71 71 53 0.58 0.50 1 0.60 0 0 1 1 -0.33 -1.92 0.07
## item72 72 53 0.49 0.50 0 0.49 0 0 1 1 0.04 -2.04 0.07
## item73 73 53 0.34 0.48 0 0.30 0 0 1 1 0.66 -1.60 0.07
## item74 74 53 0.45 0.50 0 0.44 0 0 1 1 0.18 -2.00 0.07
## item75 75 53 0.21 0.41 0 0.14 0 0 1 1 1.40 -0.04 0.06
## item76 76 53 0.60 0.49 1 0.63 0 0 1 1 -0.41 -1.86 0.07
## item77 77 53 0.32 0.47 0 0.28 0 0 1 1 0.75 -1.47 0.06
## item78 78 53 0.51 0.50 1 0.51 0 0 1 1 -0.04 -2.04 0.07
## item79 79 53 0.19 0.39 0 0.12 0 0 1 1 1.55 0.40 0.05
## item80 80 53 0.38 0.49 0 0.35 0 0 1 1 0.49 -1.79 0.07
## item81 81 53 0.21 0.41 0 0.14 0 0 1 1 1.40 -0.04 0.06
## item82 82 53 0.17 0.38 0 0.09 0 0 1 1 1.71 0.94 0.05
## item83 83 53 0.17 0.38 0 0.09 0 0 1 1 1.71 0.94 0.05
## item84 84 53 0.19 0.39 0 0.12 0 0 1 1 1.55 0.40 0.05
## item85 85 53 0.26 0.45 0 0.21 0 0 1 1 1.04 -0.94 0.06
## item86 86 53 0.32 0.47 0 0.28 0 0 1 1 0.75 -1.47 0.06
## item87 87 53 0.30 0.46 0 0.26 0 0 1 1 0.84 -1.32 0.06
## item88 88 53 0.11 0.32 0 0.02 0 0 1 1 2.37 3.70 0.04
## item89 89 53 0.17 0.38 0 0.09 0 0 1 1 1.71 0.94 0.05
## item90 90 53 0.25 0.43 0 0.19 0 0 1 1 1.15 -0.69 0.06
## item91 91 53 0.09 0.30 0 0.00 0 0 1 1 2.70 5.38 0.04
## item92 92 53 0.04 0.19 0 0.00 0 0 1 1 4.72 20.62 0.03
## item93 93 53 0.13 0.34 0 0.05 0 0 1 1 2.11 2.51 0.05
## item94 94 53 0.08 0.27 0 0.00 0 0 1 1 3.12 7.91 0.04
## item95 95 53 0.28 0.45 0 0.23 0 0 1 1 0.94 -1.14 0.06
## item96 96 53 0.06 0.23 0 0.00 0 0 1 1 3.73 12.14 0.03
## item97 97 53 0.00 0.00 0 0.00 0 0 0 0 NaN NaN 0.00
## item98 98 53 0.02 0.14 0 0.00 0 0 1 1 6.87 46.11 0.02
## item99 99 53 0.02 0.14 0 0.00 0 0 1 1 6.87 46.11 0.02
## item100 100 53 0.00 0.00 0 0.00 0 0 0 0 NaN NaN 0.00
## item101 101 53 0.00 0.00 0 0.00 0 0 0 0 NaN NaN 0.00
## item102 102 53 0.00 0.00 0 0.00 0 0 0 0 NaN NaN 0.00
## item103 103 53 0.06 0.23 0 0.00 0 0 1 1 3.73 12.14 0.03
## item104 104 53 0.09 0.30 0 0.00 0 0 1 1 2.70 5.38 0.04
## item105 105 53 0.00 0.00 0 0.00 0 0 0 0 NaN NaN 0.00
## item106 106 53 0.04 0.19 0 0.00 0 0 1 1 4.72 20.62 0.03
## item107 107 53 0.04 0.19 0 0.00 0 0 1 1 4.72 20.62 0.03
## item108 108 53 0.00 0.00 0 0.00 0 0 0 0 NaN NaN 0.00
## item09 109 53 0.00 0.00 0 0.00 0 0 0 0 NaN NaN 0.00
## item110 110 53 0.00 0.00 0 0.00 0 0 0 0 NaN NaN 0.00BEWARE THERE ARE MORE NOTES BELOW
## Warning in cor(sb_item, use = "complete.obs", method = "pearson"): the standard
## deviation is zero## item1 item2 item3 item4 item5 item6 item7 item8 item9 item10 item11
## item1 1 NA NA NA NA NA NA NA NA NA NA
## item2 NA 1 NA NA NA NA NA NA NA NA NA
## item3 NA NA 1 NA NA NA NA NA NA NA NA
## item4 NA NA NA 1 NA NA NA NA NA NA NA
## item5 NA NA NA NA 1 NA NA NA NA NA NA
## item6 NA NA NA NA NA 1 NA NA NA NA NA
## item7 NA NA NA NA NA NA 1 NA NA NA NA
## item8 NA NA NA NA NA NA NA 1 NA NA NA
## item9 NA NA NA NA NA NA NA NA 1 NA NA
## item10 NA NA NA NA NA NA NA NA NA 1 NA
## item11 NA NA NA NA NA NA NA NA NA NA 1
## item12 NA NA NA NA NA NA NA NA NA NA NA
## item13 NA NA NA NA NA NA NA NA NA NA NA
## item14 NA NA NA NA NA NA NA NA NA NA NA
## item15 NA NA NA NA NA NA NA NA NA NA NA
## item16 NA NA NA NA NA NA NA NA NA NA NA
## item17 NA NA NA NA NA NA NA NA NA NA NA
## item18 NA NA NA NA NA NA NA NA NA NA NA
## item19 NA NA NA NA NA NA NA NA NA NA NA
## item20 NA NA NA NA NA NA NA NA NA NA NA
## item21 NA NA NA NA NA NA NA NA NA NA NA
## item22 NA NA NA NA NA NA NA NA NA NA NA
## item23 NA NA NA NA NA NA NA NA NA NA NA
## item24 NA NA NA NA NA NA NA NA NA NA NA
## item25 NA NA NA NA NA NA NA NA NA NA NA
## item26 NA NA NA NA NA NA NA NA NA NA NA
## item27 NA NA NA NA NA NA NA NA NA NA NA
## item28 NA NA NA NA NA NA NA NA NA NA NA
## item29 NA NA NA NA NA NA NA NA NA NA NA
## item30 NA NA NA NA NA NA NA NA NA NA NA
## item31 NA NA NA NA NA NA NA NA NA NA NA
## item32 NA NA NA NA NA NA NA NA NA NA NA
## item33 NA NA NA NA NA NA NA NA NA NA NA
## item34 NA NA NA NA NA NA NA NA NA NA NA
## item35 NA NA NA NA NA NA NA NA NA NA NA
## item36 NA NA NA NA NA NA NA NA NA NA NA
## item37 NA NA NA NA NA NA NA NA NA NA NA
## item38 NA NA NA NA NA NA NA NA NA NA NA
## item39 NA NA NA NA NA NA NA NA NA NA NA
## item40 NA NA NA NA NA NA NA NA NA NA NA
## item41 NA NA NA NA NA NA NA NA NA NA NA
## item42 NA NA NA NA NA NA NA NA NA NA NA
## item43 NA NA NA NA NA NA NA NA NA NA NA
## item44 NA NA NA NA NA NA NA NA NA NA NA
## item45 NA NA NA NA NA NA NA NA NA NA NA
## item46 NA NA NA NA NA NA NA NA NA NA NA
## item47 NA NA NA NA NA NA NA NA NA NA NA
## item48 NA NA NA NA NA NA NA NA NA NA NA
## item49 NA NA NA NA NA NA NA NA NA NA NA
## item50 NA NA NA NA NA NA NA NA NA NA NA
## item51 NA NA NA NA NA NA NA NA NA NA NA
## item52 NA NA NA NA NA NA NA NA NA NA NA
## item53 NA NA NA NA NA NA NA NA NA NA NA
## item54 NA NA NA NA NA NA NA NA NA NA NA
## item55 NA NA NA NA NA NA NA NA NA NA NA
## item56 NA NA NA NA NA NA NA NA NA NA NA
## item57 NA NA NA NA NA NA NA NA NA NA NA
## item58 NA NA NA NA NA NA NA NA NA NA NA
## item59 NA NA NA NA NA NA NA NA NA NA NA
## item60 NA NA NA NA NA NA NA NA NA NA NA
## item61 NA NA NA NA NA NA NA NA NA NA NA
## item62 NA NA NA NA NA NA NA NA NA NA NA
## item63 NA NA NA NA NA NA NA NA NA NA NA
## item64 NA NA NA NA NA NA NA NA NA NA NA
## item65 NA NA NA NA NA NA NA NA NA NA NA
## item66 NA NA NA NA NA NA NA NA NA NA NA
## item67 NA NA NA NA NA NA NA NA NA NA NA
## item68 NA NA NA NA NA NA NA NA NA NA NA
## item69 NA NA NA NA NA NA NA NA NA NA NA
## item70 NA NA NA NA NA NA NA NA NA NA NA
## item71 NA NA NA NA NA NA NA NA NA NA NA
## item72 NA NA NA NA NA NA NA NA NA NA NA
## item73 NA NA NA NA NA NA NA NA NA NA NA
## item74 NA NA NA NA NA NA NA NA NA NA NA
## item75 NA NA NA NA NA NA NA NA NA NA NA
## item76 NA NA NA NA NA NA NA NA NA NA NA
## item77 NA NA NA NA NA NA NA NA NA NA NA
## item78 NA NA NA NA NA NA NA NA NA NA NA
## item79 NA NA NA NA NA NA NA NA NA NA NA
## item80 NA NA NA NA NA NA NA NA NA NA NA
## item81 NA NA NA NA NA NA NA NA NA NA NA
## item82 NA NA NA NA NA NA NA NA NA NA NA
## item83 NA NA NA NA NA NA NA NA NA NA NA
## item84 NA NA NA NA NA NA NA NA NA NA NA
## item85 NA NA NA NA NA NA NA NA NA NA NA
## item86 NA NA NA NA NA NA NA NA NA NA NA
## item87 NA NA NA NA NA NA NA NA NA NA NA
## item88 NA NA NA NA NA NA NA NA NA NA NA
## item89 NA NA NA NA NA NA NA NA NA NA NA
## item90 NA NA NA NA NA NA NA NA NA NA NA
## item91 NA NA NA NA NA NA NA NA NA NA NA
## item92 NA NA NA NA NA NA NA NA NA NA NA
## item93 NA NA NA NA NA NA NA NA NA NA NA
## item94 NA NA NA NA NA NA NA NA NA NA NA
## item95 NA NA NA NA NA NA NA NA NA NA NA
## item96 NA NA NA NA NA NA NA NA NA NA NA
## item97 NA NA NA NA NA NA NA NA NA NA NA
## item98 NA NA NA NA NA NA NA NA NA NA NA
## item99 NA NA NA NA NA NA NA NA NA NA NA
## item100 NA NA NA NA NA NA NA NA NA NA NA
## item101 NA NA NA NA NA NA NA NA NA NA NA
## item102 NA NA NA NA NA NA NA NA NA NA NA
## item103 NA NA NA NA NA NA NA NA NA NA NA
## item104 NA NA NA NA NA NA NA NA NA NA NA
## item105 NA NA NA NA NA NA NA NA NA NA NA
## item106 NA NA NA NA NA NA NA NA NA NA NA
## item107 NA NA NA NA NA NA NA NA NA NA NA
## item108 NA NA NA NA NA NA NA NA NA NA NA
## item09 NA NA NA NA NA NA NA NA NA NA NA
## item110 NA NA NA NA NA NA NA NA NA NA NA
## item12 item13 item14 item15 item16 item17 item18 item19 item20 item21
## item1 NA NA NA NA NA NA NA NA NA NA
## item2 NA NA NA NA NA NA NA NA NA NA
## item3 NA NA NA NA NA NA NA NA NA NA
## item4 NA NA NA NA NA NA NA NA NA NA
## item5 NA NA NA NA NA NA NA NA NA NA
## item6 NA NA NA NA NA NA NA NA NA NA
## item7 NA NA NA NA NA NA NA NA NA NA
## item8 NA NA NA NA NA NA NA NA NA NA
## item9 NA NA NA NA NA NA NA NA NA NA
## item10 NA NA NA NA NA NA NA NA NA NA
## item11 NA NA NA NA NA NA NA NA NA NA
## item12 1 NA NA NA NA NA NA NA NA NA
## item13 NA 1 NA NA NA NA NA NA NA NA
## item14 NA NA 1 NA NA NA NA NA NA NA
## item15 NA NA NA 1 NA NA NA NA NA NA
## item16 NA NA NA NA 1 NA NA NA NA NA
## item17 NA NA NA NA NA 1 NA NA NA NA
## item18 NA NA NA NA NA NA 1 NA NA NA
## item19 NA NA NA NA NA NA NA 1 NA NA
## item20 NA NA NA NA NA NA NA NA 1 NA
## item21 NA NA NA NA NA NA NA NA NA 1
## item22 NA NA NA NA NA NA NA NA NA NA
## item23 NA NA NA NA NA NA NA NA NA NA
## item24 NA NA NA NA NA NA NA NA NA NA
## item25 NA NA NA NA NA NA NA NA NA NA
## item26 NA NA NA NA NA NA NA NA NA NA
## item27 NA NA NA NA NA NA NA NA NA NA
## item28 NA NA NA NA NA NA NA NA NA NA
## item29 NA NA NA NA NA NA NA NA NA NA
## item30 NA NA NA NA NA NA NA NA NA NA
## item31 NA NA NA NA NA NA NA NA NA NA
## item32 NA NA NA NA NA NA NA NA NA NA
## item33 NA NA NA NA NA NA NA NA NA NA
## item34 NA NA NA NA NA NA NA NA NA NA
## item35 NA NA NA NA NA NA NA NA NA NA
## item36 NA NA NA NA NA NA NA NA NA NA
## item37 NA NA NA NA NA NA NA NA NA NA
## item38 NA NA NA NA NA NA NA NA NA NA
## item39 NA NA NA NA NA NA NA NA NA NA
## item40 NA NA NA NA NA NA NA NA NA NA
## item41 NA NA NA NA NA NA NA NA NA NA
## item42 NA NA NA NA NA NA NA NA NA NA
## item43 NA NA NA NA NA NA NA NA NA NA
## item44 NA NA NA NA NA NA NA NA NA NA
## item45 NA NA NA NA NA NA NA NA NA NA
## item46 NA NA NA NA NA NA NA NA NA NA
## item47 NA NA NA NA NA NA NA NA NA NA
## item48 NA NA NA NA NA NA NA NA NA NA
## item49 NA NA NA NA NA NA NA NA NA NA
## item50 NA NA NA NA NA NA NA NA NA NA
## item51 NA NA NA NA NA NA NA NA NA NA
## item52 NA NA NA NA NA NA NA NA NA NA
## item53 NA NA NA NA NA NA NA NA NA NA
## item54 NA NA NA NA NA NA NA NA NA NA
## item55 NA NA NA NA NA NA NA NA NA NA
## item56 NA NA NA NA NA NA NA NA NA NA
## item57 NA NA NA NA NA NA NA NA NA NA
## item58 NA NA NA NA NA NA NA NA NA NA
## item59 NA NA NA NA NA NA NA NA NA NA
## item60 NA NA NA NA NA NA NA NA NA NA
## item61 NA NA NA NA NA NA NA NA NA NA
## item62 NA NA NA NA NA NA NA NA NA NA
## item63 NA NA NA NA NA NA NA NA NA NA
## item64 NA NA NA NA NA NA NA NA NA NA
## item65 NA NA NA NA NA NA NA NA NA NA
## item66 NA NA NA NA NA NA NA NA NA NA
## item67 NA NA NA NA NA NA NA NA NA NA
## item68 NA NA NA NA NA NA NA NA NA NA
## item69 NA NA NA NA NA NA NA NA NA NA
## item70 NA NA NA NA NA NA NA NA NA NA
## item71 NA NA NA NA NA NA NA NA NA NA
## item72 NA NA NA NA NA NA NA NA NA NA
## item73 NA NA NA NA NA NA NA NA NA NA
## item74 NA NA NA NA NA NA NA NA NA NA
## item75 NA NA NA NA NA NA NA NA NA NA
## item76 NA NA NA NA NA NA NA NA NA NA
## item77 NA NA NA NA NA NA NA NA NA NA
## item78 NA NA NA NA NA NA NA NA NA NA
## item79 NA NA NA NA NA NA NA NA NA NA
## item80 NA NA NA NA NA NA NA NA NA NA
## item81 NA NA NA NA NA NA NA NA NA NA
## item82 NA NA NA NA NA NA NA NA NA NA
## item83 NA NA NA NA NA NA NA NA NA NA
## item84 NA NA NA NA NA NA NA NA NA NA
## item85 NA NA NA NA NA NA NA NA NA NA
## item86 NA NA NA NA NA NA NA NA NA NA
## item87 NA NA NA NA NA NA NA NA NA NA
## item88 NA NA NA NA NA NA NA NA NA NA
## item89 NA NA NA NA NA NA NA NA NA NA
## item90 NA NA NA NA NA NA NA NA NA NA
## item91 NA NA NA NA NA NA NA NA NA NA
## item92 NA NA NA NA NA NA NA NA NA NA
## item93 NA NA NA NA NA NA NA NA NA NA
## item94 NA NA NA NA NA NA NA NA NA NA
## item95 NA NA NA NA NA NA NA NA NA NA
## item96 NA NA NA NA NA NA NA NA NA NA
## item97 NA NA NA NA NA NA NA NA NA NA
## item98 NA NA NA NA NA NA NA NA NA NA
## item99 NA NA NA NA NA NA NA NA NA NA
## item100 NA NA NA NA NA NA NA NA NA NA
## item101 NA NA NA NA NA NA NA NA NA NA
## item102 NA NA NA NA NA NA NA NA NA NA
## item103 NA NA NA NA NA NA NA NA NA NA
## item104 NA NA NA NA NA NA NA NA NA NA
## item105 NA NA NA NA NA NA NA NA NA NA
## item106 NA NA NA NA NA NA NA NA NA NA
## item107 NA NA NA NA NA NA NA NA NA NA
## item108 NA NA NA NA NA NA NA NA NA NA
## item09 NA NA NA NA NA NA NA NA NA NA
## item110 NA NA NA NA NA NA NA NA NA NA
## item22 item23 item24 item25 item26 item27 item28 item29 item30 item31
## item1 NA NA NA NA NA NA NA NA NA NA
## item2 NA NA NA NA NA NA NA NA NA NA
## item3 NA NA NA NA NA NA NA NA NA NA
## item4 NA NA NA NA NA NA NA NA NA NA
## item5 NA NA NA NA NA NA NA NA NA NA
## item6 NA NA NA NA NA NA NA NA NA NA
## item7 NA NA NA NA NA NA NA NA NA NA
## item8 NA NA NA NA NA NA NA NA NA NA
## item9 NA NA NA NA NA NA NA NA NA NA
## item10 NA NA NA NA NA NA NA NA NA NA
## item11 NA NA NA NA NA NA NA NA NA NA
## item12 NA NA NA NA NA NA NA NA NA NA
## item13 NA NA NA NA NA NA NA NA NA NA
## item14 NA NA NA NA NA NA NA NA NA NA
## item15 NA NA NA NA NA NA NA NA NA NA
## item16 NA NA NA NA NA NA NA NA NA NA
## item17 NA NA NA NA NA NA NA NA NA NA
## item18 NA NA NA NA NA NA NA NA NA NA
## item19 NA NA NA NA NA NA NA NA NA NA
## item20 NA NA NA NA NA NA NA NA NA NA
## item21 NA NA NA NA NA NA NA NA NA NA
## item22 1 NA NA NA NA NA NA NA NA NA
## item23 NA 1 NA NA NA NA NA NA NA NA
## item24 NA NA 1 NA NA NA NA NA NA NA
## item25 NA NA NA 1 NA NA NA NA NA NA
## item26 NA NA NA NA 1 NA NA NA NA NA
## item27 NA NA NA NA NA 1 NA NA NA NA
## item28 NA NA NA NA NA NA 1 NA NA NA
## item29 NA NA NA NA NA NA NA 1 NA NA
## item30 NA NA NA NA NA NA NA NA 1 NA
## item31 NA NA NA NA NA NA NA NA NA 1
## item32 NA NA NA NA NA NA NA NA NA NA
## item33 NA NA NA NA NA NA NA NA NA NA
## item34 NA NA NA NA NA NA NA NA NA NA
## item35 NA NA NA NA NA NA NA NA NA NA
## item36 NA NA NA NA NA NA NA NA NA NA
## item37 NA NA NA NA NA NA NA NA NA NA
## item38 NA NA NA NA NA NA NA NA NA NA
## item39 NA NA NA NA NA NA NA NA NA NA
## item40 NA NA NA NA NA NA NA NA NA NA
## item41 NA NA NA NA NA NA NA NA NA NA
## item42 NA NA NA NA NA NA NA NA NA NA
## item43 NA NA NA NA NA NA NA NA NA NA
## item44 NA NA NA NA NA NA NA NA NA NA
## item45 NA NA NA NA NA NA NA NA NA NA
## item46 NA NA NA NA NA NA NA NA NA NA
## item47 NA NA NA NA NA NA NA NA NA NA
## item48 NA NA NA NA NA NA NA NA NA NA
## item49 NA NA NA NA NA NA NA NA NA NA
## item50 NA NA NA NA NA NA NA NA NA NA
## item51 NA NA NA NA NA NA NA NA NA NA
## item52 NA NA NA NA NA NA NA NA NA NA
## item53 NA NA NA NA NA NA NA NA NA NA
## item54 NA NA NA NA NA NA NA NA NA NA
## item55 NA NA NA NA NA NA NA NA NA NA
## item56 NA NA NA NA NA NA NA NA NA NA
## item57 NA NA NA NA NA NA NA NA NA NA
## item58 NA NA NA NA NA NA NA NA NA NA
## item59 NA NA NA NA NA NA NA NA NA NA
## item60 NA NA NA NA NA NA NA NA NA NA
## item61 NA NA NA NA NA NA NA NA NA NA
## item62 NA NA NA NA NA NA NA NA NA NA
## item63 NA NA NA NA NA NA NA NA NA NA
## item64 NA NA NA NA NA NA NA NA NA NA
## item65 NA NA NA NA NA NA NA NA NA NA
## item66 NA NA NA NA NA NA NA NA NA NA
## item67 NA NA NA NA NA NA NA NA NA NA
## item68 NA NA NA NA NA NA NA NA NA NA
## item69 NA NA NA NA NA NA NA NA NA NA
## item70 NA NA NA NA NA NA NA NA NA NA
## item71 NA NA NA NA NA NA NA NA NA NA
## item72 NA NA NA NA NA NA NA NA NA NA
## item73 NA NA NA NA NA NA NA NA NA NA
## item74 NA NA NA NA NA NA NA NA NA NA
## item75 NA NA NA NA NA NA NA NA NA NA
## item76 NA NA NA NA NA NA NA NA NA NA
## item77 NA NA NA NA NA NA NA NA NA NA
## item78 NA NA NA NA NA NA NA NA NA NA
## item79 NA NA NA NA NA NA NA NA NA NA
## item80 NA NA NA NA NA NA NA NA NA NA
## item81 NA NA NA NA NA NA NA NA NA NA
## item82 NA NA NA NA NA NA NA NA NA NA
## item83 NA NA NA NA NA NA NA NA NA NA
## item84 NA NA NA NA NA NA NA NA NA NA
## item85 NA NA NA NA NA NA NA NA NA NA
## item86 NA NA NA NA NA NA NA NA NA NA
## item87 NA NA NA NA NA NA NA NA NA NA
## item88 NA NA NA NA NA NA NA NA NA NA
## item89 NA NA NA NA NA NA NA NA NA NA
## item90 NA NA NA NA NA NA NA NA NA NA
## item91 NA NA NA NA NA NA NA NA NA NA
## item92 NA NA NA NA NA NA NA NA NA NA
## item93 NA NA NA NA NA NA NA NA NA NA
## item94 NA NA NA NA NA NA NA NA NA NA
## item95 NA NA NA NA NA NA NA NA NA NA
## item96 NA NA NA NA NA NA NA NA NA NA
## item97 NA NA NA NA NA NA NA NA NA NA
## item98 NA NA NA NA NA NA NA NA NA NA
## item99 NA NA NA NA NA NA NA NA NA NA
## item100 NA NA NA NA NA NA NA NA NA NA
## item101 NA NA NA NA NA NA NA NA NA NA
## item102 NA NA NA NA NA NA NA NA NA NA
## item103 NA NA NA NA NA NA NA NA NA NA
## item104 NA NA NA NA NA NA NA NA NA NA
## item105 NA NA NA NA NA NA NA NA NA NA
## item106 NA NA NA NA NA NA NA NA NA NA
## item107 NA NA NA NA NA NA NA NA NA NA
## item108 NA NA NA NA NA NA NA NA NA NA
## item09 NA NA NA NA NA NA NA NA NA NA
## item110 NA NA NA NA NA NA NA NA NA NA
## item32 item33 item34 item35 item36 item37 item38 item39
## item1 NA NA NA NA NA NA NA NA
## item2 NA NA NA NA NA NA NA NA
## item3 NA NA NA NA NA NA NA NA
## item4 NA NA NA NA NA NA NA NA
## item5 NA NA NA NA NA NA NA NA
## item6 NA NA NA NA NA NA NA NA
## item7 NA NA NA NA NA NA NA NA
## item8 NA NA NA NA NA NA NA NA
## item9 NA NA NA NA NA NA NA NA
## item10 NA NA NA NA NA NA NA NA
## item11 NA NA NA NA NA NA NA NA
## item12 NA NA NA NA NA NA NA NA
## item13 NA NA NA NA NA NA NA NA
## item14 NA NA NA NA NA NA NA NA
## item15 NA NA NA NA NA NA NA NA
## item16 NA NA NA NA NA NA NA NA
## item17 NA NA NA NA NA NA NA NA
## item18 NA NA NA NA NA NA NA NA
## item19 NA NA NA NA NA NA NA NA
## item20 NA NA NA NA NA NA NA NA
## item21 NA NA NA NA NA NA NA NA
## item22 NA NA NA NA NA NA NA NA
## item23 NA NA NA NA NA NA NA NA
## item24 NA NA NA NA NA NA NA NA
## item25 NA NA NA NA NA NA NA NA
## item26 NA NA NA NA NA NA NA NA
## item27 NA NA NA NA NA NA NA NA
## item28 NA NA NA NA NA NA NA NA
## item29 NA NA NA NA NA NA NA NA
## item30 NA NA NA NA NA NA NA NA
## item31 NA NA NA NA NA NA NA NA
## item32 1.00000000 NA 1.00000000 NA NA NA NA NA
## item33 NA 1 NA NA NA NA NA NA
## item34 1.00000000 NA 1.00000000 NA NA NA NA NA
## item35 NA NA NA 1 NA NA NA NA
## item36 NA NA NA NA 1 NA NA NA
## item37 NA NA NA NA NA 1 NA NA
## item38 NA NA NA NA NA NA 1 NA
## item39 NA NA NA NA NA NA NA 1
## item40 NA NA NA NA NA NA NA NA
## item41 1.00000000 NA 1.00000000 NA NA NA NA NA
## item42 NA NA NA NA NA NA NA NA
## item43 -0.01923077 NA -0.01923077 NA NA NA NA NA
## item44 0.70027467 NA 0.70027467 NA NA NA NA NA
## item45 NA NA NA NA NA NA NA NA
## item46 NA NA NA NA NA NA NA NA
## item47 NA NA NA NA NA NA NA NA
## item48 NA NA NA NA NA NA NA NA
## item49 0.56613852 NA 0.56613852 NA NA NA NA NA
## item50 -0.01923077 NA -0.01923077 NA NA NA NA NA
## item51 0.70027467 NA 0.70027467 NA NA NA NA NA
## item52 -0.04954787 NA -0.04954787 NA NA NA NA NA
## item53 0.38812501 NA 0.38812501 NA NA NA NA NA
## item54 0.48536267 NA 0.48536267 NA NA NA NA NA
## item55 0.48536267 NA 0.48536267 NA NA NA NA NA
## item56 -0.05409641 NA -0.05409641 NA NA NA NA NA
## item57 0.24325213 NA 0.24325213 NA NA NA NA NA
## item58 0.32889676 NA 0.32889676 NA NA NA NA NA
## item59 0.35549068 NA 0.35549068 NA NA NA NA NA
## item60 0.27097338 NA 0.27097338 NA NA NA NA NA
## item61 0.32889676 NA 0.32889676 NA NA NA NA NA
## item62 0.15243746 NA 0.15243746 NA NA NA NA NA
## item63 0.17813133 NA 0.17813133 NA NA NA NA NA
## item64 0.21088185 NA 0.21088185 NA NA NA NA NA
## item65 0.18550729 NA 0.18550729 NA NA NA NA NA
## item66 0.19337312 NA 0.19337312 NA NA NA NA NA
## item67 0.13608276 NA 0.13608276 NA NA NA NA NA
## item68 0.12615514 NA 0.12615514 NA NA NA NA NA
## item69 0.11682313 NA 0.11682313 NA NA NA NA NA
## item70 0.18550729 NA 0.18550729 NA NA NA NA NA
## item71 0.16461440 NA 0.16461440 NA NA NA NA NA
## item72 0.13608276 NA 0.13608276 NA NA NA NA NA
## item73 0.09944903 NA 0.09944903 NA NA NA NA NA
## item74 0.12615514 NA 0.12615514 NA NA NA NA NA
## item75 0.07096922 NA 0.07096922 NA NA NA NA NA
## item76 0.17118420 NA 0.17118420 NA NA NA NA NA
## item77 0.09529531 NA 0.09529531 NA NA NA NA NA
## item78 0.14131672 NA 0.14131672 NA NA NA NA NA
## item79 0.06687505 NA 0.06687505 NA NA NA NA NA
## item80 0.10795838 NA 0.10795838 NA NA NA NA NA
## item81 0.07096922 NA 0.07096922 NA NA NA NA NA
## item82 0.06271815 NA 0.06271815 NA NA NA NA NA
## item83 0.06271815 NA 0.06271815 NA NA NA NA NA
## item84 0.06687505 NA 0.06687505 NA NA NA NA NA
## item85 0.08308642 NA 0.08308642 NA NA NA NA NA
## item86 0.09529531 NA 0.09529531 NA NA NA NA NA
## item87 0.09119215 NA 0.09119215 NA NA NA NA NA
## item88 0.04954787 NA 0.04954787 NA NA NA NA NA
## item89 0.06271815 NA 0.06271815 NA NA NA NA NA
## item90 0.07905694 NA 0.07905694 NA NA NA NA NA
## item91 0.04475718 NA 0.04475718 NA NA NA NA NA
## item92 0.02746175 NA 0.02746175 NA NA NA NA NA
## item93 0.05409641 NA 0.05409641 NA NA NA NA NA
## item94 0.03962144 NA 0.03962144 NA NA NA NA NA
## item95 0.08712688 NA 0.08712688 NA NA NA NA NA
## item96 0.03396831 NA 0.03396831 NA NA NA NA NA
## item97 NA NA NA NA NA NA NA NA
## item98 0.01923077 NA 0.01923077 NA NA NA NA NA
## item99 0.01923077 NA 0.01923077 NA NA NA NA NA
## item100 NA NA NA NA NA NA NA NA
## item101 NA NA NA NA NA NA NA NA
## item102 NA NA NA NA NA NA NA NA
## item103 0.03396831 NA 0.03396831 NA NA NA NA NA
## item104 0.04475718 NA 0.04475718 NA NA NA NA NA
## item105 NA NA NA NA NA NA NA NA
## item106 0.02746175 NA 0.02746175 NA NA NA NA NA
## item107 0.02746175 NA 0.02746175 NA NA NA NA NA
## item108 NA NA NA NA NA NA NA NA
## item09 NA NA NA NA NA NA NA NA
## item110 NA NA NA NA NA NA NA NA
## item40 item41 item42 item43 item44 item45 item46 item47
## item1 NA NA NA NA NA NA NA NA
## item2 NA NA NA NA NA NA NA NA
## item3 NA NA NA NA NA NA NA NA
## item4 NA NA NA NA NA NA NA NA
## item5 NA NA NA NA NA NA NA NA
## item6 NA NA NA NA NA NA NA NA
## item7 NA NA NA NA NA NA NA NA
## item8 NA NA NA NA NA NA NA NA
## item9 NA NA NA NA NA NA NA NA
## item10 NA NA NA NA NA NA NA NA
## item11 NA NA NA NA NA NA NA NA
## item12 NA NA NA NA NA NA NA NA
## item13 NA NA NA NA NA NA NA NA
## item14 NA NA NA NA NA NA NA NA
## item15 NA NA NA NA NA NA NA NA
## item16 NA NA NA NA NA NA NA NA
## item17 NA NA NA NA NA NA NA NA
## item18 NA NA NA NA NA NA NA NA
## item19 NA NA NA NA NA NA NA NA
## item20 NA NA NA NA NA NA NA NA
## item21 NA NA NA NA NA NA NA NA
## item22 NA NA NA NA NA NA NA NA
## item23 NA NA NA NA NA NA NA NA
## item24 NA NA NA NA NA NA NA NA
## item25 NA NA NA NA NA NA NA NA
## item26 NA NA NA NA NA NA NA NA
## item27 NA NA NA NA NA NA NA NA
## item28 NA NA NA NA NA NA NA NA
## item29 NA NA NA NA NA NA NA NA
## item30 NA NA NA NA NA NA NA NA
## item31 NA NA NA NA NA NA NA NA
## item32 NA 1.00000000 NA -0.01923077 0.70027467 NA NA NA
## item33 NA NA NA NA NA NA NA NA
## item34 NA 1.00000000 NA -0.01923077 0.70027467 NA NA NA
## item35 NA NA NA NA NA NA NA NA
## item36 NA NA NA NA NA NA NA NA
## item37 NA NA NA NA NA NA NA NA
## item38 NA NA NA NA NA NA NA NA
## item39 NA NA NA NA NA NA NA NA
## item40 1 NA NA NA NA NA NA NA
## item41 NA 1.00000000 NA -0.01923077 0.70027467 NA NA NA
## item42 NA NA 1 NA NA NA NA NA
## item43 NA -0.01923077 NA 1.00000000 -0.02746175 NA NA NA
## item44 NA 0.70027467 NA -0.02746175 1.00000000 NA NA NA
## item45 NA NA NA NA NA 1 NA NA
## item46 NA NA NA NA NA NA 1 NA
## item47 NA NA NA NA NA NA NA 1
## item48 NA NA NA NA NA NA NA NA
## item49 NA 0.56613852 NA -0.03396831 0.37997248 NA NA NA
## item50 NA -0.01923077 NA 1.00000000 -0.02746175 NA NA NA
## item51 NA 0.70027467 NA -0.02746175 1.00000000 NA NA NA
## item52 NA -0.04954787 NA 0.38812501 0.24174596 NA NA NA
## item53 NA 0.38812501 NA 0.38812501 0.55424682 NA NA NA
## item54 NA 0.48536267 NA 0.48536267 0.69310328 NA NA NA
## item55 NA 0.48536267 NA 0.48536267 0.69310328 NA NA NA
## item56 NA -0.05409641 NA -0.05409641 0.21519718 NA NA NA
## item57 NA 0.24325213 NA 0.24325213 0.34736674 NA NA NA
## item58 NA 0.32889676 NA 0.32889676 0.46966822 NA NA NA
## item59 NA 0.35549068 NA 0.35549068 0.50764464 NA NA NA
## item60 NA 0.27097338 NA 0.27097338 0.38695299 NA NA NA
## item61 NA 0.32889676 NA 0.32889676 0.46966822 NA NA NA
## item62 NA 0.15243746 NA 0.15243746 0.21768239 NA NA NA
## item63 NA 0.17813133 NA 0.17813133 0.25437351 NA NA NA
## item64 NA 0.21088185 NA 0.21088185 0.30114162 NA NA NA
## item65 NA 0.18550729 NA 0.18550729 0.26490647 NA NA NA
## item66 NA 0.19337312 NA 0.19337312 0.27613896 NA NA NA
## item67 NA 0.13608276 NA 0.13608276 0.19432770 NA NA NA
## item68 NA 0.12615514 NA 0.12615514 0.18015094 NA NA NA
## item69 NA 0.11682313 NA 0.11682313 0.16682472 NA NA NA
## item70 NA 0.18550729 NA 0.18550729 0.26490647 NA NA NA
## item71 NA 0.16461440 NA 0.16461440 0.23507120 NA NA NA
## item72 NA 0.13608276 NA 0.13608276 0.19432770 NA NA NA
## item73 NA 0.09944903 NA 0.09944903 0.14201432 NA NA NA
## item74 NA 0.12615514 NA 0.12615514 0.18015094 NA NA NA
## item75 NA 0.07096922 NA 0.07096922 0.10134483 NA NA NA
## item76 NA 0.17118420 NA 0.17118420 0.24445293 NA NA NA
## item77 NA 0.09529531 NA 0.09529531 0.13608276 NA NA NA
## item78 NA 0.14131672 NA 0.14131672 0.20180184 NA NA NA
## item79 NA 0.06687505 NA 0.06687505 0.09549831 NA NA NA
## item80 NA 0.10795838 NA 0.10795838 0.15416576 NA NA NA
## item81 NA 0.07096922 NA 0.07096922 0.10134483 NA NA NA
## item82 NA 0.06271815 NA 0.06271815 0.08956222 NA NA NA
## item83 NA 0.06271815 NA 0.06271815 0.08956222 NA NA NA
## item84 NA 0.06687505 NA 0.06687505 0.09549831 NA NA NA
## item85 NA 0.08308642 NA 0.08308642 0.11864833 NA NA NA
## item86 NA 0.09529531 NA 0.09529531 0.13608276 NA NA NA
## item87 NA 0.09119215 NA 0.09119215 0.13022340 NA NA NA
## item88 NA 0.04954787 NA 0.04954787 0.07075491 NA NA NA
## item89 NA 0.06271815 NA 0.06271815 0.08956222 NA NA NA
## item90 NA 0.07905694 NA 0.07905694 0.11289419 NA NA NA
## item91 NA 0.04475718 NA 0.04475718 0.06391375 NA NA NA
## item92 NA 0.02746175 NA 0.02746175 0.03921569 NA NA NA
## item93 NA 0.05409641 NA 0.05409641 0.07725027 NA NA NA
## item94 NA 0.03962144 NA 0.03962144 0.05657986 NA NA NA
## item95 NA 0.08712688 NA 0.08712688 0.12441815 NA NA NA
## item96 NA 0.03396831 NA 0.03396831 0.04850713 NA NA NA
## item97 NA NA NA NA NA NA NA NA
## item98 NA 0.01923077 NA 0.01923077 0.02746175 NA NA NA
## item99 NA 0.01923077 NA 0.01923077 0.02746175 NA NA NA
## item100 NA NA NA NA NA NA NA NA
## item101 NA NA NA NA NA NA NA NA
## item102 NA NA NA NA NA NA NA NA
## item103 NA 0.03396831 NA 0.03396831 0.04850713 NA NA NA
## item104 NA 0.04475718 NA 0.04475718 0.06391375 NA NA NA
## item105 NA NA NA NA NA NA NA NA
## item106 NA 0.02746175 NA 0.02746175 0.03921569 NA NA NA
## item107 NA 0.02746175 NA 0.02746175 0.03921569 NA NA NA
## item108 NA NA NA NA NA NA NA NA
## item09 NA NA NA NA NA NA NA NA
## item110 NA NA NA NA NA NA NA NA
## item48 item49 item50 item51 item52 item53
## item1 NA NA NA NA NA NA
## item2 NA NA NA NA NA NA
## item3 NA NA NA NA NA NA
## item4 NA NA NA NA NA NA
## item5 NA NA NA NA NA NA
## item6 NA NA NA NA NA NA
## item7 NA NA NA NA NA NA
## item8 NA NA NA NA NA NA
## item9 NA NA NA NA NA NA
## item10 NA NA NA NA NA NA
## item11 NA NA NA NA NA NA
## item12 NA NA NA NA NA NA
## item13 NA NA NA NA NA NA
## item14 NA NA NA NA NA NA
## item15 NA NA NA NA NA NA
## item16 NA NA NA NA NA NA
## item17 NA NA NA NA NA NA
## item18 NA NA NA NA NA NA
## item19 NA NA NA NA NA NA
## item20 NA NA NA NA NA NA
## item21 NA NA NA NA NA NA
## item22 NA NA NA NA NA NA
## item23 NA NA NA NA NA NA
## item24 NA NA NA NA NA NA
## item25 NA NA NA NA NA NA
## item26 NA NA NA NA NA NA
## item27 NA NA NA NA NA NA
## item28 NA NA NA NA NA NA
## item29 NA NA NA NA NA NA
## item30 NA NA NA NA NA NA
## item31 NA NA NA NA NA NA
## item32 NA 0.566138517 -0.01923077 0.70027467 -0.049547874 0.38812501
## item33 NA NA NA NA NA NA
## item34 NA 0.566138517 -0.01923077 0.70027467 -0.049547874 0.38812501
## item35 NA NA NA NA NA NA
## item36 NA NA NA NA NA NA
## item37 NA NA NA NA NA NA
## item38 NA NA NA NA NA NA
## item39 NA NA NA NA NA NA
## item40 NA NA NA NA NA NA
## item41 NA 0.566138517 -0.01923077 0.70027467 -0.049547874 0.38812501
## item42 NA NA NA NA NA NA
## item43 NA -0.033968311 1.00000000 -0.02746175 0.388125013 0.38812501
## item44 NA 0.379972479 -0.02746175 1.00000000 0.241745955 0.55424682
## item45 NA NA NA NA NA NA
## item46 NA NA NA NA NA NA
## item47 NA NA NA NA NA NA
## item48 1 NA NA NA NA NA
## item49 NA 1.000000000 -0.03396831 0.37997248 0.170175823 0.17017582
## item50 NA -0.033968311 1.00000000 -0.02746175 0.388125013 0.38812501
## item51 NA 0.379972479 -0.02746175 1.00000000 0.241745955 0.55424682
## item52 NA 0.170175823 0.38812501 0.24174596 1.000000000 0.62411348
## item53 NA 0.170175823 0.38812501 0.55424682 0.624113475 1.00000000
## item54 NA 0.239116856 0.48536267 0.69310328 0.348787781 0.57422379
## item55 NA 0.239116856 0.48536267 0.69310328 0.348787781 0.57422379
## item56 NA -0.095553309 -0.05409641 0.21519718 0.036503978 0.03650398
## item57 NA 0.239898483 0.24325213 0.34736674 0.349927902 0.34992790
## item58 NA 0.124796130 0.32889676 0.46966822 0.348375154 0.51471644
## item59 NA 0.386763392 0.35549068 0.50764464 0.388269585 0.56415239
## item60 NA 0.277304069 0.27097338 0.38695299 0.551324807 0.55132481
## item61 NA 0.124796130 0.32889676 0.46966822 0.348375154 0.51471644
## item62 NA 0.269258240 0.15243746 0.21768239 0.392753509 0.39275351
## item63 NA 0.146197597 0.17813133 0.25437351 0.213251112 0.21325111
## item64 NA 0.016778901 0.21088185 0.30114162 0.413619778 0.41361978
## item65 NA 0.327671209 0.18550729 0.26490647 0.353782327 0.35378233
## item66 NA -0.003253000 0.19337312 0.27613896 0.120997207 0.12099721
## item67 NA 0.240370085 0.13608276 0.19432770 0.350615804 0.35061580
## item68 NA 0.222834406 0.12615514 0.18015094 0.205405571 0.20540557
## item69 NA 0.206350782 0.11682313 0.16682472 0.300993550 0.30099355
## item70 NA -0.012849851 0.18550729 0.26490647 0.229607073 0.35378233
## item71 NA -0.040644851 0.16461440 0.23507120 0.182420334 0.30327380
## item72 NA 0.077041694 0.13608276 0.19432770 0.350615804 0.35061580
## item73 NA 0.175662013 0.09944903 0.14201432 0.130487185 0.13048718
## item74 NA 0.222834406 0.12615514 0.18015094 0.325037387 0.32503739
## item75 NA 0.125356634 0.07096922 0.10134483 0.182851444 0.18285144
## item76 NA 0.135437269 0.17118420 0.24445293 0.441054277 0.44105428
## item77 NA -0.006600984 0.09529531 0.13608276 -0.009628524 0.24552737
## item78 NA 0.086286697 0.14131672 0.20180184 0.364101027 0.36410103
## item79 NA 0.118124885 0.06687505 0.09549831 0.172302853 0.17230285
## item80 NA 0.190692518 0.10795838 0.15416576 0.278153625 0.27815362
## item81 NA -0.075973718 0.07096922 0.10134483 0.036016193 0.18285144
## item82 NA 0.110782342 0.06271815 0.08956222 0.161592654 0.16159265
## item83 NA 0.110782342 0.06271815 0.08956222 0.161592654 0.16159265
## item84 NA 0.118124885 0.06687505 0.09549831 0.172302853 0.17230285
## item85 NA 0.146759877 0.08308642 0.11864833 0.214071282 0.21407128
## item86 NA 0.168325082 0.09529531 0.13608276 0.245527367 0.24552737
## item87 NA -0.016778901 0.09119215 0.13022340 0.105240535 0.23495561
## item88 NA 0.087518995 0.04954787 0.07075491 0.127659574 0.12765957
## item89 NA 0.110782342 0.06271815 0.08956222 0.161592654 0.16159265
## item90 NA 0.139642400 0.07905694 0.11289419 0.203689376 0.20368938
## item91 NA 0.079056942 0.04475718 0.06391375 0.115316401 0.11531640
## item92 NA 0.048507125 0.02746175 0.03921569 0.070754914 0.07075491
## item93 NA 0.095553309 0.05409641 0.07725027 0.139378825 0.13937883
## item94 NA 0.069985421 0.03962144 0.05657986 0.102084229 0.10208423
## item95 NA 0.153896753 0.08712688 0.12441815 0.224481485 0.22448149
## item96 NA 0.060000000 0.03396831 0.04850713 0.087518995 0.08751899
## item97 NA NA NA NA NA NA
## item98 NA 0.033968311 0.01923077 0.02746175 0.049547874 0.04954787
## item99 NA 0.033968311 0.01923077 0.02746175 0.049547874 0.04954787
## item100 NA NA NA NA NA NA
## item101 NA NA NA NA NA NA
## item102 NA NA NA NA NA NA
## item103 NA 0.060000000 0.03396831 0.04850713 0.087518995 0.08751899
## item104 NA 0.079056942 0.04475718 0.06391375 0.115316401 0.11531640
## item105 NA NA NA NA NA NA
## item106 NA 0.048507125 0.02746175 0.03921569 0.070754914 0.07075491
## item107 NA 0.048507125 0.02746175 0.03921569 0.070754914 0.07075491
## item108 NA NA NA NA NA NA
## item09 NA NA NA NA NA NA
## item110 NA NA NA NA NA NA
## item54 item55 item56 item57 item58 item59
## item1 NA NA NA NA NA NA
## item2 NA NA NA NA NA NA
## item3 NA NA NA NA NA NA
## item4 NA NA NA NA NA NA
## item5 NA NA NA NA NA NA
## item6 NA NA NA NA NA NA
## item7 NA NA NA NA NA NA
## item8 NA NA NA NA NA NA
## item9 NA NA NA NA NA NA
## item10 NA NA NA NA NA NA
## item11 NA NA NA NA NA NA
## item12 NA NA NA NA NA NA
## item13 NA NA NA NA NA NA
## item14 NA NA NA NA NA NA
## item15 NA NA NA NA NA NA
## item16 NA NA NA NA NA NA
## item17 NA NA NA NA NA NA
## item18 NA NA NA NA NA NA
## item19 NA NA NA NA NA NA
## item20 NA NA NA NA NA NA
## item21 NA NA NA NA NA NA
## item22 NA NA NA NA NA NA
## item23 NA NA NA NA NA NA
## item24 NA NA NA NA NA NA
## item25 NA NA NA NA NA NA
## item26 NA NA NA NA NA NA
## item27 NA NA NA NA NA NA
## item28 NA NA NA NA NA NA
## item29 NA NA NA NA NA NA
## item30 NA NA NA NA NA NA
## item31 NA NA NA NA NA NA
## item32 0.48536267 0.48536267 -0.054096408 0.24325213 0.328896757 0.35549068
## item33 NA NA NA NA NA NA
## item34 0.48536267 0.48536267 -0.054096408 0.24325213 0.328896757 0.35549068
## item35 NA NA NA NA NA NA
## item36 NA NA NA NA NA NA
## item37 NA NA NA NA NA NA
## item38 NA NA NA NA NA NA
## item39 NA NA NA NA NA NA
## item40 NA NA NA NA NA NA
## item41 0.48536267 0.48536267 -0.054096408 0.24325213 0.328896757 0.35549068
## item42 NA NA NA NA NA NA
## item43 0.48536267 0.48536267 -0.054096408 0.24325213 0.328896757 0.35549068
## item44 0.69310328 0.69310328 0.215197185 0.34736674 0.469668218 0.50764464
## item45 NA NA NA NA NA NA
## item46 NA NA NA NA NA NA
## item47 NA NA NA NA NA NA
## item48 NA NA NA NA NA NA
## item49 0.23911686 0.23911686 -0.095553309 0.23989848 0.124796130 0.38676339
## item50 0.48536267 0.48536267 -0.054096408 0.24325213 0.328896757 0.35549068
## item51 0.69310328 0.69310328 0.215197185 0.34736674 0.469668218 0.50764464
## item52 0.34878778 0.34878778 0.036503978 0.34992790 0.348375154 0.38826959
## item53 0.57422379 0.57422379 0.036503978 0.34992790 0.514716444 0.56415239
## item54 1.00000000 0.72959184 0.099513967 0.33516146 0.478106265 0.52145318
## item55 0.72959184 1.00000000 0.099513967 0.50117601 0.677630927 0.52145318
## item56 0.09951397 0.09951397 1.000000000 0.03665740 -0.008811342 0.01242236
## item57 0.33516146 0.50117601 0.036657399 1.00000000 0.372111382 0.42522583
## item58 0.47810627 0.67763093 -0.008811342 0.37211138 1.000000000 0.30252275
## item59 0.52145318 0.52145318 0.012422360 0.42522583 0.302522749 1.00000000
## item60 0.55829053 0.55829053 0.075188094 0.35703878 0.434011291 0.48742626
## item61 0.47810627 0.47810627 0.146855704 0.37211138 0.263888889 0.45818979
## item62 0.17057206 0.31406919 -0.242921126 0.45046702 0.357599712 0.31685364
## item63 0.21964792 0.21964792 0.156182580 0.09900437 -0.002051525 0.27115031
## item64 0.27889114 0.43448304 -0.013742396 0.48483030 0.526373685 0.22903993
## item65 0.23325652 0.38220346 -0.175406544 0.39683494 0.344223550 0.17321396
## item66 0.39840954 0.39840954 -0.044404991 0.14675988 0.254076118 0.07326823
## item67 0.13749078 0.28037336 -0.063099332 0.55943093 0.202899214 0.38280262
## item68 0.11642220 0.25991933 0.019011219 0.25432271 0.171807683 0.13096617
## item69 0.09572995 0.24069244 0.215526785 0.30225859 0.141271515 0.32862500
## item70 0.38220346 0.38220346 -0.059199709 0.39683494 0.124418150 0.40562763
## item71 0.19419504 0.19419504 -0.102428571 0.14273322 0.179616640 0.23686607
## item72 0.28037336 0.13749078 0.048376155 0.29626667 0.202899214 0.15985164
## item73 0.05406987 0.20489633 0.162078217 0.13103560 0.079792500 0.27975144
## item74 0.25991933 0.25991933 -0.092943735 0.43052014 0.277689162 0.24292113
## item75 0.14621895 0.14621895 -0.075188094 0.29175169 0.215779625 0.19963735
## item76 0.35269337 0.35269337 0.253670190 0.34509913 0.304968773 0.13973358
## item77 0.19633836 0.19633836 -0.090106546 0.20385457 -0.049000541 0.26806698
## item78 0.14827437 0.29115695 0.063099332 0.31778325 0.429668924 0.06309933
## item79 0.13778366 0.13778366 0.045686381 0.27492071 0.203331427 0.18812039
## item80 0.07506954 0.22242827 0.073752885 0.35334317 0.219513159 0.30368835
## item81 -0.02990842 0.14621895 0.199637352 0.29175169 0.215779625 0.19963735
## item82 0.12921915 0.12921915 0.028004284 0.02424060 0.190692518 0.17642699
## item83 0.12921915 0.12921915 -0.120418421 0.25783187 0.190692518 0.17642699
## item84 -0.04477969 0.13778366 0.045686381 0.27492071 0.068624357 0.18812039
## item85 0.17118420 0.17118420 0.107321876 0.14263155 0.252621582 0.10732188
## item86 0.04330993 0.19633836 -0.090106546 0.29780494 0.176828039 0.26806698
## item87 0.18788456 0.18788456 0.013742396 0.18383900 0.277266797 0.25652473
## item88 0.10208423 0.10208423 0.139378825 0.20368938 0.150648715 0.13937883
## item89 0.12921915 0.12921915 0.176426988 0.25783187 0.190692518 0.17642699
## item90 0.16288220 0.16288220 0.092865412 0.32500000 0.240370085 0.09286541
## item91 0.09221389 0.09221389 -0.064749877 0.18399502 0.136082763 0.12590254
## item92 0.05657986 0.05657986 0.077250271 0.11289419 0.083496572 0.07725027
## item93 0.11145564 0.11145564 0.152173913 0.22238822 0.164478388 0.15217391
## item94 0.08163265 0.08163265 -0.099513967 0.16288220 0.120467720 0.11145564
## item95 0.02094270 0.17950882 0.121377442 0.35817520 0.264906471 0.24508907
## item96 0.06998542 0.06998542 0.095553309 0.13964240 0.103279556 0.09555331
## item97 NA NA NA NA NA NA
## item98 0.03962144 0.03962144 0.054096408 0.07905694 0.058470535 0.05409641
## item99 0.03962144 0.03962144 0.054096408 0.07905694 0.058470535 0.05409641
## item100 NA NA NA NA NA NA
## item101 NA NA NA NA NA NA
## item102 NA NA NA NA NA NA
## item103 0.06998542 0.06998542 0.095553309 0.13964240 0.103279556 0.09555331
## item104 0.09221389 0.09221389 -0.255402293 0.18399502 0.136082763 0.12590254
## item105 NA NA NA NA NA NA
## item106 0.05657986 0.05657986 -0.215197185 0.11289419 0.083496572 0.07725027
## item107 0.05657986 0.05657986 0.077250271 0.11289419 0.083496572 0.07725027
## item108 NA NA NA NA NA NA
## item09 NA NA NA NA NA NA
## item110 NA NA NA NA NA NA
## item60 item61 item62 item63 item64
## item1 NA NA NA NA NA
## item2 NA NA NA NA NA
## item3 NA NA NA NA NA
## item4 NA NA NA NA NA
## item5 NA NA NA NA NA
## item6 NA NA NA NA NA
## item7 NA NA NA NA NA
## item8 NA NA NA NA NA
## item9 NA NA NA NA NA
## item10 NA NA NA NA NA
## item11 NA NA NA NA NA
## item12 NA NA NA NA NA
## item13 NA NA NA NA NA
## item14 NA NA NA NA NA
## item15 NA NA NA NA NA
## item16 NA NA NA NA NA
## item17 NA NA NA NA NA
## item18 NA NA NA NA NA
## item19 NA NA NA NA NA
## item20 NA NA NA NA NA
## item21 NA NA NA NA NA
## item22 NA NA NA NA NA
## item23 NA NA NA NA NA
## item24 NA NA NA NA NA
## item25 NA NA NA NA NA
## item26 NA NA NA NA NA
## item27 NA NA NA NA NA
## item28 NA NA NA NA NA
## item29 NA NA NA NA NA
## item30 NA NA NA NA NA
## item31 NA NA NA NA NA
## item32 0.27097338 0.32889676 0.15243746 0.178131326 0.210881848
## item33 NA NA NA NA NA
## item34 0.27097338 0.32889676 0.15243746 0.178131326 0.210881848
## item35 NA NA NA NA NA
## item36 NA NA NA NA NA
## item37 NA NA NA NA NA
## item38 NA NA NA NA NA
## item39 NA NA NA NA NA
## item40 NA NA NA NA NA
## item41 0.27097338 0.32889676 0.15243746 0.178131326 0.210881848
## item42 NA NA NA NA NA
## item43 0.27097338 0.32889676 0.15243746 0.178131326 0.210881848
## item44 0.38695299 0.46966822 0.21768239 0.254373510 0.301141619
## item45 NA NA NA NA NA
## item46 NA NA NA NA NA
## item47 NA NA NA NA NA
## item48 NA NA NA NA NA
## item49 0.27730407 0.12479613 0.26925824 0.146197597 0.016778901
## item50 0.27097338 0.32889676 0.15243746 0.178131326 0.210881848
## item51 0.38695299 0.46966822 0.21768239 0.254373510 0.301141619
## item52 0.55132481 0.34837515 0.39275351 0.213251112 0.413619778
## item53 0.55132481 0.51471644 0.39275351 0.213251112 0.413619778
## item54 0.55829053 0.47810627 0.17057206 0.219647916 0.278891139
## item55 0.55829053 0.47810627 0.31406919 0.219647916 0.434483038
## item56 0.07518809 0.14685570 -0.24292113 0.156182580 -0.013742396
## item57 0.35703878 0.37211138 0.45046702 0.099004368 0.484830301
## item58 0.43401129 0.26388889 0.35759971 -0.002051525 0.526373685
## item59 0.48742626 0.45818979 0.31685364 0.271150313 0.229039934
## item60 1.00000000 0.43401129 0.28215930 0.081492860 0.271522925
## item61 0.43401129 1.00000000 0.25171823 0.106679292 0.181956336
## item62 0.28215930 0.25171823 1.00000000 0.151970971 0.144883015
## item63 0.08149286 0.10667929 0.15197097 1.000000000 0.081590079
## item64 0.27152292 0.18195634 0.14488302 0.081590079 1.000000000
## item65 0.19952129 0.12441815 0.34748418 0.310890758 0.451156367
## item66 0.22242827 0.03149704 -0.01208134 0.017058877 0.309478637
## item67 0.31606977 0.30832724 0.51359557 0.141036236 0.398660965
## item68 0.18516704 0.27768916 0.29454023 0.160823648 0.020252464
## item69 0.33670427 0.14127151 0.15095119 0.102845415 0.303741594
## item70 0.29653623 0.12441815 0.18940125 0.310890758 0.108342210
## item71 0.22981403 0.07265392 0.15675700 0.134146194 0.029902022
## item72 0.31606977 0.20289921 0.21030237 0.063172481 0.398660965
## item73 0.07228919 0.30237158 0.25219796 0.558290526 0.037661421
## item74 0.37209758 0.17180768 0.59913793 0.082624994 0.267955684
## item75 0.26190476 0.21577962 0.27863231 0.110468099 0.133849329
## item76 0.44149875 0.19721314 0.27050947 0.403920296 0.223549459
## item77 0.25200439 -0.04900054 0.13789934 0.201401310 0.011629512
## item78 0.24232016 0.21881288 0.47210735 0.092555030 0.341266196
## item79 0.24679563 0.20333143 0.34182416 0.176449998 0.212074620
## item80 0.30242906 0.21951316 0.70821423 0.204545455 0.003199611
## item81 0.03246753 0.21577962 0.18516704 -0.177473339 0.133849329
## item82 0.23145502 0.05032164 0.20952723 0.144747862 0.078482920
## item83 0.23145502 0.19069252 0.41143529 0.041077096 0.187945939
## item84 0.12788501 0.20333143 0.34182416 0.076962233 0.212074620
## item85 0.20109629 0.13307744 0.20115033 0.113276709 0.114328941
## item86 0.25200439 0.28974233 0.30031411 0.034615850 0.363837577
## item87 0.23519239 0.27726680 0.35052342 0.087989301 -0.015202703
## item88 0.18285144 0.15064872 0.32503739 0.155302441 -0.024474543
## item89 0.10754476 0.05032164 0.31048126 -0.062593670 0.078482920
## item90 0.18361994 0.11787379 0.25432271 -0.008534859 0.183838999
## item91 0.16517187 0.13608276 0.29361011 0.251259454 0.212238180
## item92 0.10134483 0.08349657 -0.01876572 -0.050103873 0.130223403
## item93 0.19963735 0.16447839 0.24292113 0.188720618 0.135133561
## item94 0.14621895 0.12046772 0.25991933 0.075069541 0.187884557
## item95 0.11497240 0.26490647 0.31911999 0.143474023 0.230678180
## item96 0.12535663 0.10327956 0.22283441 0.022247460 -0.016778901
## item97 NA NA NA NA NA
## item98 0.07096922 0.05847053 0.12615514 0.107958379 0.091192151
## item99 0.07096922 0.05847053 0.12615514 0.107958379 0.091192151
## item100 NA NA NA NA NA
## item101 NA NA NA NA NA
## item102 NA NA NA NA NA
## item103 0.12535663 0.10327956 0.05880352 0.022247460 -0.016778901
## item104 0.16517187 0.13608276 0.29361011 0.118091943 0.212238180
## item105 NA NA NA NA NA
## item106 0.10134483 0.08349657 0.18015094 0.154165763 0.130223403
## item107 0.10134483 0.08349657 0.18015094 -0.050103873 -0.301141619
## item108 NA NA NA NA NA
## item09 NA NA NA NA NA
## item110 NA NA NA NA NA
## item65 item66 item67 item68 item69
## item1 NA NA NA NA NA
## item2 NA NA NA NA NA
## item3 NA NA NA NA NA
## item4 NA NA NA NA NA
## item5 NA NA NA NA NA
## item6 NA NA NA NA NA
## item7 NA NA NA NA NA
## item8 NA NA NA NA NA
## item9 NA NA NA NA NA
## item10 NA NA NA NA NA
## item11 NA NA NA NA NA
## item12 NA NA NA NA NA
## item13 NA NA NA NA NA
## item14 NA NA NA NA NA
## item15 NA NA NA NA NA
## item16 NA NA NA NA NA
## item17 NA NA NA NA NA
## item18 NA NA NA NA NA
## item19 NA NA NA NA NA
## item20 NA NA NA NA NA
## item21 NA NA NA NA NA
## item22 NA NA NA NA NA
## item23 NA NA NA NA NA
## item24 NA NA NA NA NA
## item25 NA NA NA NA NA
## item26 NA NA NA NA NA
## item27 NA NA NA NA NA
## item28 NA NA NA NA NA
## item29 NA NA NA NA NA
## item30 NA NA NA NA NA
## item31 NA NA NA NA NA
## item32 0.185507292 0.19337312 0.13608276 0.126155140 0.116823126
## item33 NA NA NA NA NA
## item34 0.185507292 0.19337312 0.13608276 0.126155140 0.116823126
## item35 NA NA NA NA NA
## item36 NA NA NA NA NA
## item37 NA NA NA NA NA
## item38 NA NA NA NA NA
## item39 NA NA NA NA NA
## item40 NA NA NA NA NA
## item41 0.185507292 0.19337312 0.13608276 0.126155140 0.116823126
## item42 NA NA NA NA NA
## item43 0.185507292 0.19337312 0.13608276 0.126155140 0.116823126
## item44 0.264906471 0.27613896 0.19432770 0.180150940 0.166824719
## item45 NA NA NA NA NA
## item46 NA NA NA NA NA
## item47 NA NA NA NA NA
## item48 NA NA NA NA NA
## item49 0.327671209 -0.00325300 0.24037009 0.222834406 0.206350782
## item50 0.185507292 0.19337312 0.13608276 0.126155140 0.116823126
## item51 0.264906471 0.27613896 0.19432770 0.180150940 0.166824719
## item52 0.353782327 0.12099721 0.35061580 0.205405571 0.300993550
## item53 0.353782327 0.12099721 0.35061580 0.205405571 0.300993550
## item54 0.233256523 0.39840954 0.13749078 0.116422200 0.095729948
## item55 0.382203459 0.39840954 0.28037336 0.259919329 0.240692440
## item56 -0.175406544 -0.04440499 -0.06309933 0.019011219 0.215526785
## item57 0.396834942 0.14675988 0.55943093 0.254322708 0.302258586
## item58 0.344223550 0.25407612 0.20289921 0.171807683 0.141271515
## item59 0.173213962 0.07326823 0.38280262 0.130966172 0.328624999
## item60 0.199521293 0.22242827 0.31606977 0.185167043 0.336704274
## item61 0.124418150 0.03149704 0.30832724 0.277689162 0.141271515
## item62 0.347484184 -0.01208134 0.51359557 0.294540230 0.150951187
## item63 0.310890758 0.01705888 0.14103624 0.160823648 0.102845415
## item64 0.451156367 0.30947864 0.39866097 0.020252464 0.303741594
## item65 1.000000000 0.12853675 0.49746209 0.205806083 0.230506398
## item66 0.128536751 1.00000000 -0.09322939 0.172159089 0.199852154
## item67 0.497462092 -0.09322939 1.00000000 0.168814144 0.475483176
## item68 0.205806083 0.17215909 0.16881414 1.000000000 0.002902907
## item69 0.230506398 0.19985215 0.47548318 0.002902907 1.000000000
## item70 0.261609907 0.12853675 0.41875913 0.205806083 -0.009039467
## item71 0.009039467 0.12357271 0.06069998 -0.002902907 0.010263930
## item72 0.261353219 0.30525108 0.39601140 -0.058655762 0.322287988
## item73 0.286856408 -0.15873016 0.17292549 0.308074160 -0.038139724
## item74 0.442930484 0.17215909 0.47210735 0.162356322 0.233684049
## item75 0.285553411 -0.02594996 0.42845013 0.375624573 0.229814028
## item76 0.359705808 0.07069732 0.33195686 0.271971682 0.290997597
## item77 0.092243553 0.15138466 0.13425745 0.024515438 -0.004643585
## item78 0.289567486 0.09322939 0.35897436 0.361948970 0.290492761
## item79 0.259938184 -0.06148164 0.49142923 0.239459708 0.278837084
## item80 0.094951857 -0.09925165 0.40401005 0.308368280 0.292140600
## item81 -0.005491412 0.17052834 0.24232016 0.188694034 0.229814028
## item82 0.023725610 0.32433749 0.05879570 0.093334857 0.332894272
## item83 0.233301835 -0.20621457 0.46088240 0.194288886 0.026939421
## item84 0.259938184 0.14217630 0.39496349 -0.051182228 0.376707054
## item85 0.180165320 0.15856829 0.09691397 0.228727389 0.276947976
## item86 0.345118121 0.15138466 0.45769586 0.105722825 0.323503056
## item87 0.063064869 0.21123145 0.01240968 0.062315275 0.196723831
## item88 0.142918688 -0.12099721 0.24498156 0.153489877 0.061566863
## item89 0.128513723 0.00600625 0.25983905 0.093334857 0.332894272
## item90 0.243277073 0.22363410 0.23006183 0.186170871 0.142733221
## item91 0.241269112 -0.04114756 0.32889676 0.354778883 0.121115094
## item92 0.148035969 0.14201432 0.20180184 0.018765723 0.235071196
## item93 0.175406544 -0.07326823 0.39752579 0.316853642 0.123767857
## item94 0.064637350 0.05406987 0.29115695 0.314069189 -0.095729948
## item95 0.207642791 -0.08010019 0.47267780 0.269902479 0.150764204
## item96 0.012849851 0.00325300 0.24961509 -0.058803524 0.290767011
## item97 NA NA NA NA NA
## item98 0.103665840 0.09944903 0.14131672 -0.126155140 0.164614404
## item99 0.103665840 0.09944903 0.14131672 0.152437461 0.164614404
## item100 NA NA NA NA NA
## item101 NA NA NA NA NA
## item102 NA NA NA NA NA
## item103 0.183110381 -0.16915601 0.24961509 0.105227358 0.125061080
## item104 0.106666344 0.23145502 0.32889676 0.354778883 -0.009886946
## item105 NA NA NA NA NA
## item106 0.148035969 0.14201432 0.20180184 0.018765723 0.034123238
## item107 -0.058435251 -0.27613896 0.20180184 -0.180150940 0.034123238
## item108 NA NA NA NA NA
## item09 NA NA NA NA NA
## item110 NA NA NA NA NA
## item70 item71 item72 item73 item74
## item1 NA NA NA NA NA
## item2 NA NA NA NA NA
## item3 NA NA NA NA NA
## item4 NA NA NA NA NA
## item5 NA NA NA NA NA
## item6 NA NA NA NA NA
## item7 NA NA NA NA NA
## item8 NA NA NA NA NA
## item9 NA NA NA NA NA
## item10 NA NA NA NA NA
## item11 NA NA NA NA NA
## item12 NA NA NA NA NA
## item13 NA NA NA NA NA
## item14 NA NA NA NA NA
## item15 NA NA NA NA NA
## item16 NA NA NA NA NA
## item17 NA NA NA NA NA
## item18 NA NA NA NA NA
## item19 NA NA NA NA NA
## item20 NA NA NA NA NA
## item21 NA NA NA NA NA
## item22 NA NA NA NA NA
## item23 NA NA NA NA NA
## item24 NA NA NA NA NA
## item25 NA NA NA NA NA
## item26 NA NA NA NA NA
## item27 NA NA NA NA NA
## item28 NA NA NA NA NA
## item29 NA NA NA NA NA
## item30 NA NA NA NA NA
## item31 NA NA NA NA NA
## item32 0.185507292 0.164614404 0.136082763 0.09944903 0.12615514
## item33 NA NA NA NA NA
## item34 0.185507292 0.164614404 0.136082763 0.09944903 0.12615514
## item35 NA NA NA NA NA
## item36 NA NA NA NA NA
## item37 NA NA NA NA NA
## item38 NA NA NA NA NA
## item39 NA NA NA NA NA
## item40 NA NA NA NA NA
## item41 0.185507292 0.164614404 0.136082763 0.09944903 0.12615514
## item42 NA NA NA NA NA
## item43 0.185507292 0.164614404 0.136082763 0.09944903 0.12615514
## item44 0.264906471 0.235071196 0.194327696 0.14201432 0.18015094
## item45 NA NA NA NA NA
## item46 NA NA NA NA NA
## item47 NA NA NA NA NA
## item48 NA NA NA NA NA
## item49 -0.012849851 -0.040644851 0.077041694 0.17566201 0.22283441
## item50 0.185507292 0.164614404 0.136082763 0.09944903 0.12615514
## item51 0.264906471 0.235071196 0.194327696 0.14201432 0.18015094
## item52 0.229607073 0.182420334 0.350615804 0.13048718 0.32503739
## item53 0.353782327 0.303273805 0.350615804 0.13048718 0.32503739
## item54 0.382203459 0.194195037 0.280373361 0.05406987 0.25991933
## item55 0.382203459 0.194195037 0.137490783 0.20489633 0.25991933
## item56 -0.059199709 -0.102428571 0.048376155 0.16207822 -0.09294373
## item57 0.396834942 0.142733221 0.296266675 0.13103560 0.43052014
## item58 0.124418150 0.179616640 0.202899214 0.07979250 0.27768916
## item59 0.405627633 0.236866071 0.159851642 0.27975144 0.24292113
## item60 0.296536234 0.229814028 0.316069771 0.07228919 0.37209758
## item61 0.124418150 0.072653922 0.202899214 0.30237158 0.17180768
## item62 0.189401251 0.156757002 0.210302366 0.25219796 0.59913793
## item63 0.310890758 0.134146194 0.063172481 0.55829053 0.08262499
## item64 0.108342210 0.029902022 0.398660965 0.03766142 0.26795568
## item65 0.261609907 0.009039467 0.261353219 0.28685641 0.44293048
## item66 0.128536751 0.123572706 0.305251079 -0.15873016 0.17215909
## item67 0.418759134 0.060699980 0.396011396 0.17292549 0.47210735
## item68 0.205806083 -0.002902907 -0.058655762 0.30807416 0.16235632
## item69 -0.009039467 0.010263930 0.322287988 -0.03813972 0.23368405
## item70 1.000000000 0.248585331 0.025244345 0.20377778 0.20580608
## item71 0.248585331 1.000000000 -0.015897614 0.03813972 0.07402414
## item72 0.025244345 -0.015897614 1.000000000 -0.06616280 0.47210735
## item73 0.203777776 0.038139724 -0.066162795 1.00000000 0.06795754
## item74 0.205806083 0.074024140 0.472107352 0.06795754 1.00000000
## item75 0.285553411 0.053445123 0.149255169 0.02594996 0.46908984
## item76 0.279265269 0.022157177 0.254791453 0.25512509 0.27197168
## item77 0.345118121 0.250753565 -0.027461752 0.10468088 0.26813760
## item78 0.132161571 0.092495207 0.283475783 0.22555498 0.51359557
## item79 0.259938184 0.112642795 0.202032015 0.16331062 0.43322100
## item80 0.094951857 0.181842618 0.014691275 0.18144442 0.46476559
## item81 0.091523529 0.053445123 0.242320157 -0.17052834 0.18869403
## item82 -0.081062502 0.075045530 0.058795697 -0.00600625 0.19428889
## item83 0.233301835 0.177030480 0.058795697 -0.00600625 0.39619694
## item84 0.058818129 0.112642795 0.298497752 0.16331062 0.43322100
## item85 0.001683788 0.157319560 0.096913967 0.20289921 0.31470293
## item86 -0.076339492 0.086680245 0.538555466 0.10468088 0.34934499
## item87 -0.022638671 0.053508882 0.176837938 0.22269362 0.14488302
## item88 0.267093942 0.059286608 0.006742612 0.12099721 0.27312169
## item89 0.128513723 -0.026939421 0.360360725 -0.11211666 0.29524292
## item90 0.060387926 0.035263502 0.230061831 -0.03843711 0.27426959
## item91 0.106666344 -0.121115094 0.199774327 0.17744885 0.35477888
## item92 0.148035969 -0.034123238 0.003737071 -0.14201432 0.21768239
## item93 0.175406544 -0.236866071 0.174574819 0.30861469 0.20489869
## item94 0.213584286 0.095729948 0.005391795 0.24758307 0.02707493
## item95 0.207642791 0.189257192 0.137535012 0.08010019 0.18575641
## item96 0.183110381 0.040644851 0.086286697 -0.17566201 0.26925824
## item97 NA NA NA NA NA
## item98 0.103665840 0.116823126 -0.136082763 -0.09944903 0.15243746
## item99 0.103665840 -0.164614404 0.141316716 -0.09944903 0.15243746
## item100 NA NA NA NA NA
## item101 NA NA NA NA NA
## item102 NA NA NA NA NA
## item103 0.012849851 -0.290767011 0.249615088 -0.00325300 0.26925824
## item104 0.241269112 0.009886946 0.199774327 0.31375014 0.22510108
## item105 NA NA NA NA NA
## item106 0.148035969 0.166824719 0.003737071 0.06706232 0.21768239
## item107 0.148035969 -0.034123238 0.201801838 0.06706232 0.21768239
## item108 NA NA NA NA NA
## item09 NA NA NA NA NA
## item110 NA NA NA NA NA
## item75 item76 item77 item78 item79
## item1 NA NA NA NA NA
## item2 NA NA NA NA NA
## item3 NA NA NA NA NA
## item4 NA NA NA NA NA
## item5 NA NA NA NA NA
## item6 NA NA NA NA NA
## item7 NA NA NA NA NA
## item8 NA NA NA NA NA
## item9 NA NA NA NA NA
## item10 NA NA NA NA NA
## item11 NA NA NA NA NA
## item12 NA NA NA NA NA
## item13 NA NA NA NA NA
## item14 NA NA NA NA NA
## item15 NA NA NA NA NA
## item16 NA NA NA NA NA
## item17 NA NA NA NA NA
## item18 NA NA NA NA NA
## item19 NA NA NA NA NA
## item20 NA NA NA NA NA
## item21 NA NA NA NA NA
## item22 NA NA NA NA NA
## item23 NA NA NA NA NA
## item24 NA NA NA NA NA
## item25 NA NA NA NA NA
## item26 NA NA NA NA NA
## item27 NA NA NA NA NA
## item28 NA NA NA NA NA
## item29 NA NA NA NA NA
## item30 NA NA NA NA NA
## item31 NA NA NA NA NA
## item32 0.07096922 0.17118420 0.095295312 0.14131672 0.06687505
## item33 NA NA NA NA NA
## item34 0.07096922 0.17118420 0.095295312 0.14131672 0.06687505
## item35 NA NA NA NA NA
## item36 NA NA NA NA NA
## item37 NA NA NA NA NA
## item38 NA NA NA NA NA
## item39 NA NA NA NA NA
## item40 NA NA NA NA NA
## item41 0.07096922 0.17118420 0.095295312 0.14131672 0.06687505
## item42 NA NA NA NA NA
## item43 0.07096922 0.17118420 0.095295312 0.14131672 0.06687505
## item44 0.10134483 0.24445293 0.136082763 0.20180184 0.09549831
## item45 NA NA NA NA NA
## item46 NA NA NA NA NA
## item47 NA NA NA NA NA
## item48 NA NA NA NA NA
## item49 0.12535663 0.13543727 -0.006600984 0.08628670 0.11812488
## item50 0.07096922 0.17118420 0.095295312 0.14131672 0.06687505
## item51 0.10134483 0.24445293 0.136082763 0.20180184 0.09549831
## item52 0.18285144 0.44105428 -0.009628524 0.36410103 0.17230285
## item53 0.18285144 0.44105428 0.245527367 0.36410103 0.17230285
## item54 0.14621895 0.35269337 0.196338363 0.14827437 0.13778366
## item55 0.14621895 0.35269337 0.196338363 0.29115695 0.13778366
## item56 -0.07518809 0.25367019 -0.090106546 0.06309933 0.04568638
## item57 0.29175169 0.34509913 0.203854573 0.31778325 0.27492071
## item58 0.21577962 0.30496877 -0.049000541 0.42966892 0.20333143
## item59 0.19963735 0.13973358 0.268066976 0.06309933 0.18812039
## item60 0.26190476 0.44149875 0.252004386 0.24232016 0.24679563
## item61 0.21577962 0.19721314 -0.049000541 0.21881288 0.20333143
## item62 0.27863231 0.27050947 0.137899337 0.47210735 0.34182416
## item63 0.11046810 0.40392030 0.201401310 0.09255503 0.17645000
## item64 0.13384933 0.22354946 0.011629512 0.34126620 0.21207462
## item65 0.28555341 0.35970581 0.092243553 0.28956749 0.25993818
## item66 -0.02594996 0.07069732 0.151384659 0.09322939 -0.06148164
## item67 0.42845013 0.33195686 0.134257453 0.35897436 0.49142923
## item68 0.37562457 0.27197168 0.024515438 0.36194897 0.23945971
## item69 0.22981403 0.29099760 -0.004643585 0.29049276 0.27883708
## item70 0.28555341 0.27926527 0.345118121 0.13216157 0.25993818
## item71 0.05344512 0.02215718 0.250753565 0.09249521 0.11264280
## item72 0.14925517 0.25479145 -0.027461752 0.28347578 0.20203201
## item73 0.02594996 0.25512509 0.104680881 0.22555498 0.16331062
## item74 0.46908984 0.27197168 0.268137600 0.51359557 0.43322100
## item75 1.00000000 0.31945845 0.146689120 0.31606977 0.70448935
## item76 0.31945845 1.00000000 0.060814097 0.28536643 0.19347038
## item77 0.14668912 0.06081410 1.000000000 0.02746175 0.08187275
## item78 0.31606977 0.28536643 0.027461752 1.00000000 0.37676241
## item79 0.70448935 0.19347038 0.081872745 0.37676241 1.00000000
## item80 0.36943430 0.31232499 0.215562339 0.45249126 0.32098883
## item81 0.19696970 0.03409950 -0.152331009 0.22300478 0.22884686
## item82 0.01636551 0.36637816 0.119847425 0.14224765 -0.08966437
## item83 0.63591684 0.16089623 0.119847425 0.34329101 0.55252639
## item84 0.22884686 -0.10231606 0.185188352 0.28029667 0.50697674
## item85 0.32653259 0.39786532 -0.044978122 0.41673006 0.14859423
## item86 0.14668912 0.06081410 -0.039215686 0.27004056 0.18518835
## item87 0.06883680 0.11256746 0.076422505 0.15201858 0.10306430
## item88 0.55132481 0.28944187 0.137206470 0.11237686 0.58870141
## item89 0.14027577 0.05815526 -0.095471678 0.34329101 0.29565009
## item90 0.03264355 0.19284951 0.077996532 0.38398809 0.06132847
## item91 0.47149061 0.12948310 0.054794625 0.18759297 0.66926577
## item92 0.38695299 0.16042224 0.076046250 0.19432770 0.15757221
## item93 0.35001354 0.31601286 0.090106546 0.38280262 0.23918164
## item94 0.20603579 0.08541793 0.262746927 0.28037336 0.04477969
## item95 0.40142906 0.25205919 -0.072804013 0.28139347 0.33934201
## item96 0.47863442 0.19843135 0.006600984 0.24037009 0.50793700
## item97 NA NA NA NA NA
## item98 0.27097338 0.11233963 0.201801838 0.13608276 0.28756270
## item99 0.27097338 0.11233963 -0.095295312 0.13608276 0.28756270
## item100 NA NA NA NA NA
## item101 NA NA NA NA NA
## item102 NA NA NA NA NA
## item103 0.27730407 0.19843135 0.006600984 0.24037009 0.09056241
## item104 0.31232499 -0.00249006 0.331377021 0.31671540 0.33930218
## item105 NA NA NA NA NA
## item106 0.14280408 -0.04201535 0.288175264 0.19432770 0.41064273
## item107 0.14280408 0.16042224 0.076046250 0.19432770 0.15757221
## item108 NA NA NA NA NA
## item09 NA NA NA NA NA
## item110 NA NA NA NA NA
## item80 item81 item82 item83 item84
## item1 NA NA NA NA NA
## item2 NA NA NA NA NA
## item3 NA NA NA NA NA
## item4 NA NA NA NA NA
## item5 NA NA NA NA NA
## item6 NA NA NA NA NA
## item7 NA NA NA NA NA
## item8 NA NA NA NA NA
## item9 NA NA NA NA NA
## item10 NA NA NA NA NA
## item11 NA NA NA NA NA
## item12 NA NA NA NA NA
## item13 NA NA NA NA NA
## item14 NA NA NA NA NA
## item15 NA NA NA NA NA
## item16 NA NA NA NA NA
## item17 NA NA NA NA NA
## item18 NA NA NA NA NA
## item19 NA NA NA NA NA
## item20 NA NA NA NA NA
## item21 NA NA NA NA NA
## item22 NA NA NA NA NA
## item23 NA NA NA NA NA
## item24 NA NA NA NA NA
## item25 NA NA NA NA NA
## item26 NA NA NA NA NA
## item27 NA NA NA NA NA
## item28 NA NA NA NA NA
## item29 NA NA NA NA NA
## item30 NA NA NA NA NA
## item31 NA NA NA NA NA
## item32 0.107958379 0.070969219 0.062718151 0.06271815 0.066875047
## item33 NA NA NA NA NA
## item34 0.107958379 0.070969219 0.062718151 0.06271815 0.066875047
## item35 NA NA NA NA NA
## item36 NA NA NA NA NA
## item37 NA NA NA NA NA
## item38 NA NA NA NA NA
## item39 NA NA NA NA NA
## item40 NA NA NA NA NA
## item41 0.107958379 0.070969219 0.062718151 0.06271815 0.066875047
## item42 NA NA NA NA NA
## item43 0.107958379 0.070969219 0.062718151 0.06271815 0.066875047
## item44 0.154165763 0.101344832 0.089562215 0.08956222 0.095498309
## item45 NA NA NA NA NA
## item46 NA NA NA NA NA
## item47 NA NA NA NA NA
## item48 NA NA NA NA NA
## item49 0.190692518 -0.075973718 0.110782342 0.11078234 0.118124885
## item50 0.107958379 0.070969219 0.062718151 0.06271815 0.066875047
## item51 0.154165763 0.101344832 0.089562215 0.08956222 0.095498309
## item52 0.278153625 0.036016193 0.161592654 0.16159265 0.172302853
## item53 0.278153625 0.182851444 0.161592654 0.16159265 0.172302853
## item54 0.075069541 -0.029908421 0.129219148 0.12921915 -0.044779691
## item55 0.222428270 0.146218947 0.129219148 0.12921915 0.137783663
## item56 0.073752885 0.199637352 0.028004284 -0.12041842 0.045686381
## item57 0.353343174 0.291751688 0.024240603 0.25783187 0.274920707
## item58 0.219513159 0.215779625 0.190692518 0.19069252 0.068624357
## item59 0.303688350 0.199637352 0.176426988 0.17642699 0.188120393
## item60 0.302429057 0.032467532 0.231455025 0.23145502 0.127885010
## item61 0.219513159 0.215779625 0.050321637 0.19069252 0.203331427
## item62 0.708214232 0.185167043 0.209527230 0.41143529 0.341824163
## item63 0.204545455 -0.177473339 0.144747862 0.04107710 0.076962233
## item64 0.003199611 0.133849329 0.078482920 0.18794594 0.212074620
## item65 0.094951857 -0.005491412 0.023725610 0.23330184 0.259938184
## item66 -0.099251649 0.170528340 0.324337487 -0.20621457 0.142176303
## item67 0.404010051 0.242320157 0.058795697 0.46088240 0.394963488
## item68 0.308368280 0.188694034 0.093334857 0.19428889 -0.051182228
## item69 0.292140600 0.229814028 0.332894272 0.02693942 0.376707054
## item70 0.094951857 0.091523529 -0.081062502 0.23330184 0.058818129
## item71 0.181842618 0.053445123 0.075045530 0.17703048 0.112642795
## item72 0.014691275 0.242320157 0.058795697 0.05879570 0.298497752
## item73 0.181444421 -0.170528340 -0.006006250 -0.00600625 0.163310618
## item74 0.464765590 0.188694034 0.194288886 0.39619694 0.433220998
## item75 0.369434297 0.196969697 0.016365507 0.63591684 0.228846859
## item76 0.312324987 0.034099497 0.366378158 0.16089623 -0.102316064
## item77 0.215562339 -0.152331009 0.119847425 0.11984743 0.185188352
## item78 0.452491257 0.223004783 0.142247655 0.34329101 0.280296669
## item79 0.320988826 0.228846859 -0.089664370 0.55252639 0.506976744
## item80 1.000000000 0.273453818 0.373605969 0.47727674 0.320988826
## item81 0.273453818 1.000000000 0.016365507 0.14027577 0.347757482
## item82 0.373605969 0.016365507 1.000000000 -0.07070707 0.038773782
## item83 0.477276736 0.140275773 -0.070707071 1.00000000 0.167211934
## item84 0.320988826 0.347757482 0.038773782 0.16721193 1.000000000
## item85 0.328169290 0.009955262 0.412911819 0.07096922 0.148594230
## item86 0.132169610 0.445709250 0.012187874 0.22750698 0.495135172
## item87 0.251169460 0.170179861 0.140443119 0.03098010 -0.001982006
## item88 0.336102297 0.257654307 -0.002992457 0.63140833 0.284299707
## item89 0.269935203 0.388096304 -0.070707071 0.19696970 0.167211934
## item90 0.370412893 0.248907035 0.326146296 0.09255503 0.173411523
## item91 0.281410588 -0.006006250 -0.145968552 0.36978700 0.174320386
## item92 0.050103873 0.142804081 0.174148752 0.17414875 0.157572210
## item93 0.386118045 0.075188094 -0.028004284 0.26884113 0.096747630
## item94 0.219647916 0.029908421 0.061020153 0.44149875 0.044779691
## item95 0.374988924 0.504709348 0.162071147 0.49673754 0.232287684
## item96 0.314642654 0.277304069 0.106679292 0.54160256 0.299249708
## item97 NA NA NA NA NA
## item98 0.178131326 -0.070969219 0.306622070 0.30662207 0.287562702
## item99 0.178131326 0.270973381 -0.062718151 0.30662207 -0.066875047
## item100 NA NA NA NA NA
## item101 NA NA NA NA NA
## item102 NA NA NA NA NA
## item103 0.146197597 0.075973718 -0.110782342 0.10667929 -0.118124885
## item104 0.148243078 -0.006006250 0.025949965 0.19786848 0.339302179
## item105 NA NA NA NA NA
## item106 0.050103873 -0.101344832 0.174148752 0.17414875 0.410642729
## item107 0.254373510 0.142804081 -0.089562215 0.17414875 0.157572210
## item108 NA NA NA NA NA
## item09 NA NA NA NA NA
## item110 NA NA NA NA NA
## item85 item86 item87 item88 item89
## item1 NA NA NA NA NA
## item2 NA NA NA NA NA
## item3 NA NA NA NA NA
## item4 NA NA NA NA NA
## item5 NA NA NA NA NA
## item6 NA NA NA NA NA
## item7 NA NA NA NA NA
## item8 NA NA NA NA NA
## item9 NA NA NA NA NA
## item10 NA NA NA NA NA
## item11 NA NA NA NA NA
## item12 NA NA NA NA NA
## item13 NA NA NA NA NA
## item14 NA NA NA NA NA
## item15 NA NA NA NA NA
## item16 NA NA NA NA NA
## item17 NA NA NA NA NA
## item18 NA NA NA NA NA
## item19 NA NA NA NA NA
## item20 NA NA NA NA NA
## item21 NA NA NA NA NA
## item22 NA NA NA NA NA
## item23 NA NA NA NA NA
## item24 NA NA NA NA NA
## item25 NA NA NA NA NA
## item26 NA NA NA NA NA
## item27 NA NA NA NA NA
## item28 NA NA NA NA NA
## item29 NA NA NA NA NA
## item30 NA NA NA NA NA
## item31 NA NA NA NA NA
## item32 0.083086419 0.095295312 0.091192151 0.049547874 0.06271815
## item33 NA NA NA NA NA
## item34 0.083086419 0.095295312 0.091192151 0.049547874 0.06271815
## item35 NA NA NA NA NA
## item36 NA NA NA NA NA
## item37 NA NA NA NA NA
## item38 NA NA NA NA NA
## item39 NA NA NA NA NA
## item40 NA NA NA NA NA
## item41 0.083086419 0.095295312 0.091192151 0.049547874 0.06271815
## item42 NA NA NA NA NA
## item43 0.083086419 0.095295312 0.091192151 0.049547874 0.06271815
## item44 0.118648328 0.136082763 0.130223403 0.070754914 0.08956222
## item45 NA NA NA NA NA
## item46 NA NA NA NA NA
## item47 NA NA NA NA NA
## item48 NA NA NA NA NA
## item49 0.146759877 0.168325082 -0.016778901 0.087518995 0.11078234
## item50 0.083086419 0.095295312 0.091192151 0.049547874 0.06271815
## item51 0.118648328 0.136082763 0.130223403 0.070754914 0.08956222
## item52 0.214071282 0.245527367 0.105240535 0.127659574 0.16159265
## item53 0.214071282 0.245527367 0.234955613 0.127659574 0.16159265
## item54 0.171184197 0.043309933 0.187884557 0.102084229 0.12921915
## item55 0.171184197 0.196338363 0.187884557 0.102084229 0.12921915
## item56 0.107321876 -0.090106546 0.013742396 0.139378825 0.17642699
## item57 0.142631549 0.297804941 0.183838999 0.203689376 0.25783187
## item58 0.252621582 0.176828039 0.277266797 0.150648715 0.19069252
## item59 0.107321876 0.268066976 0.256524727 0.139378825 0.17642699
## item60 0.201096293 0.252004386 0.235192393 0.182851444 0.10754476
## item61 0.133077441 0.289742329 0.277266797 0.150648715 0.05032164
## item62 0.201150328 0.300314112 0.350523424 0.325037387 0.31048126
## item63 0.113276709 0.034615850 0.087989301 0.155302441 -0.06259367
## item64 0.114328941 0.363837577 -0.015202703 -0.024474543 0.07848292
## item65 0.180165320 0.345118121 0.063064869 0.142918688 0.12851372
## item66 0.158568294 0.151384659 0.211231451 -0.120997207 0.00600625
## item67 0.096913967 0.457695864 0.012409680 0.244981555 0.25983905
## item68 0.228727389 0.105722825 0.062315275 0.153489877 0.09333486
## item69 0.276947976 0.323503056 0.196723831 0.061566863 0.33289427
## item70 0.001683788 -0.076339492 -0.022638671 0.267093942 0.12851372
## item71 0.157319560 0.086680245 0.053508882 0.059286608 -0.02693942
## item72 0.096913967 0.538555466 0.176837938 0.006742612 0.36036072
## item73 0.202899214 0.104680881 0.222693623 0.120997207 -0.11211666
## item74 0.314702932 0.349344987 0.144883015 0.273121693 0.29524292
## item75 0.326532594 0.146689120 0.068836798 0.551324807 0.14027577
## item76 0.397865319 0.060814097 0.112567458 0.289441869 0.05815526
## item77 -0.044978122 -0.039215686 0.076422505 0.137206470 -0.09547168
## item78 0.416730060 0.270040560 0.152018578 0.112376860 0.34329101
## item79 0.148594230 0.185188352 0.103064301 0.588701414 0.29565009
## item80 0.328169290 0.132169610 0.251169460 0.336102297 0.26993520
## item81 0.009955262 0.445709250 0.170179861 0.257654307 0.38809630
## item82 0.412911819 0.012187874 0.140443119 -0.002992457 -0.07070707
## item83 0.070969219 0.227506976 0.030980100 0.631408332 0.19696970
## item84 0.148594230 0.495135172 -0.001982006 0.284299707 0.16721193
## item85 1.000000000 0.230080392 0.072115178 0.056066288 0.07096922
## item86 0.230080392 1.000000000 0.164474521 0.009628524 0.22750698
## item87 0.072115178 0.164474521 1.000000000 0.154189621 0.24990614
## item88 0.056066288 0.009628524 0.154189621 1.000000000 0.15560774
## item89 0.070969219 0.227506976 0.249906139 0.155607740 1.00000000
## item90 0.354702142 0.171946900 0.007209373 0.073119263 0.20935066
## item91 -0.046962043 0.054794625 0.068977408 0.292134883 0.19786848
## item92 0.330520344 0.076046250 -0.130223403 0.241745955 -0.08956222
## item93 0.145480766 0.209497720 0.229039934 0.036503978 -0.02800428
## item94 -0.009170582 0.262746927 0.123299240 0.123351776 -0.12921915
## item95 0.098589109 0.286136701 -0.139439796 0.436491777 0.27362661
## item96 0.223634099 0.006600984 0.016778901 0.685565460 0.32414093
## item97 NA NA NA NA NA
## item98 0.231455025 -0.095295312 -0.091192151 0.388125013 -0.06271815
## item99 -0.083086419 -0.095295312 0.210881848 0.388125013 0.30662207
## item100 NA NA NA NA NA
## item101 NA NA NA NA NA
## item102 NA NA NA NA NA
## item103 0.038437111 0.181527050 0.194635256 -0.087518995 0.10667929
## item104 -0.046962043 0.193085823 0.068977408 0.088409241 -0.14596855
## item105 NA NA NA NA NA
## item106 0.105936008 0.076046250 -0.130223403 0.241745955 -0.08956222
## item107 0.105936008 0.076046250 0.085459108 0.241745955 0.17414875
## item108 NA NA NA NA NA
## item09 NA NA NA NA NA
## item110 NA NA NA NA NA
## item90 item91 item92 item93 item94
## item1 NA NA NA NA NA
## item2 NA NA NA NA NA
## item3 NA NA NA NA NA
## item4 NA NA NA NA NA
## item5 NA NA NA NA NA
## item6 NA NA NA NA NA
## item7 NA NA NA NA NA
## item8 NA NA NA NA NA
## item9 NA NA NA NA NA
## item10 NA NA NA NA NA
## item11 NA NA NA NA NA
## item12 NA NA NA NA NA
## item13 NA NA NA NA NA
## item14 NA NA NA NA NA
## item15 NA NA NA NA NA
## item16 NA NA NA NA NA
## item17 NA NA NA NA NA
## item18 NA NA NA NA NA
## item19 NA NA NA NA NA
## item20 NA NA NA NA NA
## item21 NA NA NA NA NA
## item22 NA NA NA NA NA
## item23 NA NA NA NA NA
## item24 NA NA NA NA NA
## item25 NA NA NA NA NA
## item26 NA NA NA NA NA
## item27 NA NA NA NA NA
## item28 NA NA NA NA NA
## item29 NA NA NA NA NA
## item30 NA NA NA NA NA
## item31 NA NA NA NA NA
## item32 0.079056942 0.04475718 0.027461752 0.054096408 0.039621443
## item33 NA NA NA NA NA
## item34 0.079056942 0.04475718 0.027461752 0.054096408 0.039621443
## item35 NA NA NA NA NA
## item36 NA NA NA NA NA
## item37 NA NA NA NA NA
## item38 NA NA NA NA NA
## item39 NA NA NA NA NA
## item40 NA NA NA NA NA
## item41 0.079056942 0.04475718 0.027461752 0.054096408 0.039621443
## item42 NA NA NA NA NA
## item43 0.079056942 0.04475718 0.027461752 0.054096408 0.039621443
## item44 0.112894190 0.06391375 0.039215686 0.077250271 0.056579860
## item45 NA NA NA NA NA
## item46 NA NA NA NA NA
## item47 NA NA NA NA NA
## item48 NA NA NA NA NA
## item49 0.139642400 0.07905694 0.048507125 0.095553309 0.069985421
## item50 0.079056942 0.04475718 0.027461752 0.054096408 0.039621443
## item51 0.112894190 0.06391375 0.039215686 0.077250271 0.056579860
## item52 0.203689376 0.11531640 0.070754914 0.139378825 0.102084229
## item53 0.203689376 0.11531640 0.070754914 0.139378825 0.102084229
## item54 0.162882204 0.09221389 0.056579860 0.111455643 0.081632653
## item55 0.162882204 0.09221389 0.056579860 0.111455643 0.081632653
## item56 0.092865412 -0.06474988 0.077250271 0.152173913 -0.099513967
## item57 0.325000000 0.18399502 0.112894190 0.222388223 0.162882204
## item58 0.240370085 0.13608276 0.083496572 0.164478388 0.120467720
## item59 0.092865412 0.12590254 0.077250271 0.152173913 0.111455643
## item60 0.183619944 0.16517187 0.101344832 0.199637352 0.146218947
## item61 0.117873792 0.13608276 0.083496572 0.164478388 0.120467720
## item62 0.254322708 0.29361011 -0.018765723 0.242921126 0.259919329
## item63 -0.008534859 0.25125945 -0.050103873 0.188720618 0.075069541
## item64 0.183838999 0.21223818 0.130223403 0.135133561 0.187884557
## item65 0.243277073 0.24126911 0.148035969 0.175406544 0.064637350
## item66 0.223634099 -0.04114756 0.142014320 -0.073268235 0.054069866
## item67 0.230061831 0.32889676 0.201801838 0.397525793 0.291156952
## item68 0.186170871 0.35477888 0.018765723 0.316853642 0.314069189
## item69 0.142733221 0.12111509 0.235071196 0.123767857 -0.095729948
## item70 0.060387926 0.10666634 0.148035969 0.175406544 0.213584286
## item71 0.035263502 -0.12111509 -0.034123238 -0.236866071 0.095729948
## item72 0.230061831 0.19977433 0.003737071 0.174574819 0.005391795
## item73 -0.038437111 0.17744885 -0.142014320 0.308614687 0.247583069
## item74 0.274269587 0.35477888 0.217682385 0.204898689 0.027074930
## item75 0.032643546 0.47149061 0.386952995 0.350013540 0.206035789
## item76 0.192849511 0.12948310 0.160422237 0.316012864 0.085417926
## item77 0.077996532 0.05479463 0.076046250 0.090106546 0.262746927
## item78 0.383988092 0.18759297 0.194327696 0.382802615 0.280373361
## item79 0.061328465 0.66926577 0.157572210 0.239181642 0.044779691
## item80 0.370412893 0.28141059 0.050103873 0.386118045 0.219647916
## item81 0.248907035 -0.00600625 0.142804081 0.075188094 0.029908421
## item82 0.326146296 -0.14596855 0.174148752 -0.028004284 0.061020153
## item83 0.092555030 0.36978700 0.174148752 0.268841125 0.441498755
## item84 0.173411523 0.17432039 0.157572210 0.096747630 0.044779691
## item85 0.354702142 -0.04696204 0.330520344 0.145480766 -0.009170582
## item86 0.171946900 0.05479463 0.076046250 0.209497720 0.262746927
## item87 0.007209373 0.06897741 -0.130223403 0.229039934 0.123299240
## item88 0.073119263 0.29213488 0.241745955 0.036503978 0.123351776
## item89 0.209350663 0.19786848 -0.089562215 -0.028004284 -0.129219148
## item90 1.000000000 0.11605840 0.347366737 0.166180211 0.003132350
## item91 0.116058396 1.00000000 -0.063913749 0.255402293 -0.092213889
## item92 0.347366737 -0.06391375 1.000000000 0.215197185 -0.056579860
## item93 0.166180211 0.25540229 0.215197185 1.000000000 0.521453185
## item94 0.003132350 -0.09221389 -0.056579860 0.521453185 1.000000000
## item95 0.323276078 0.08381440 0.095387249 0.002334182 0.296189549
## item96 0.239898483 0.20027759 0.379972479 -0.095553309 -0.069985421
## item97 NA NA NA NA NA
## item98 0.243252128 -0.04475718 0.700274671 -0.054096408 -0.039621443
## item99 0.243252128 0.42966892 -0.027461752 -0.054096408 -0.039621443
## item100 NA NA NA NA NA
## item101 NA NA NA NA NA
## item102 NA NA NA NA NA
## item103 0.239898483 0.20027759 0.379972479 0.627921742 -0.069985421
## item104 -0.033968311 0.33750000 -0.063913749 0.446054709 0.640886530
## item105 NA NA NA NA NA
## item106 0.347366737 0.27482912 0.480392157 -0.077250271 -0.056579860
## item107 0.117236274 -0.06391375 -0.039215686 0.215197185 -0.056579860
## item108 NA NA NA NA NA
## item09 NA NA NA NA NA
## item110 NA NA NA NA NA
## item95 item96 item97 item98 item99 item100
## item1 NA NA NA NA NA NA
## item2 NA NA NA NA NA NA
## item3 NA NA NA NA NA NA
## item4 NA NA NA NA NA NA
## item5 NA NA NA NA NA NA
## item6 NA NA NA NA NA NA
## item7 NA NA NA NA NA NA
## item8 NA NA NA NA NA NA
## item9 NA NA NA NA NA NA
## item10 NA NA NA NA NA NA
## item11 NA NA NA NA NA NA
## item12 NA NA NA NA NA NA
## item13 NA NA NA NA NA NA
## item14 NA NA NA NA NA NA
## item15 NA NA NA NA NA NA
## item16 NA NA NA NA NA NA
## item17 NA NA NA NA NA NA
## item18 NA NA NA NA NA NA
## item19 NA NA NA NA NA NA
## item20 NA NA NA NA NA NA
## item21 NA NA NA NA NA NA
## item22 NA NA NA NA NA NA
## item23 NA NA NA NA NA NA
## item24 NA NA NA NA NA NA
## item25 NA NA NA NA NA NA
## item26 NA NA NA NA NA NA
## item27 NA NA NA NA NA NA
## item28 NA NA NA NA NA NA
## item29 NA NA NA NA NA NA
## item30 NA NA NA NA NA NA
## item31 NA NA NA NA NA NA
## item32 0.087126879 0.033968311 NA 0.01923077 0.01923077 NA
## item33 NA NA NA NA NA NA
## item34 0.087126879 0.033968311 NA 0.01923077 0.01923077 NA
## item35 NA NA NA NA NA NA
## item36 NA NA NA NA NA NA
## item37 NA NA NA NA NA NA
## item38 NA NA NA NA NA NA
## item39 NA NA NA NA NA NA
## item40 NA NA NA NA NA NA
## item41 0.087126879 0.033968311 NA 0.01923077 0.01923077 NA
## item42 NA NA NA NA NA NA
## item43 0.087126879 0.033968311 NA 0.01923077 0.01923077 NA
## item44 0.124418150 0.048507125 NA 0.02746175 0.02746175 NA
## item45 NA NA NA NA NA NA
## item46 NA NA NA NA NA NA
## item47 NA NA NA NA NA NA
## item48 NA NA NA NA NA NA
## item49 0.153896753 0.060000000 NA 0.03396831 0.03396831 NA
## item50 0.087126879 0.033968311 NA 0.01923077 0.01923077 NA
## item51 0.124418150 0.048507125 NA 0.02746175 0.02746175 NA
## item52 0.224481485 0.087518995 NA 0.04954787 0.04954787 NA
## item53 0.224481485 0.087518995 NA 0.04954787 0.04954787 NA
## item54 0.020942695 0.069985421 NA 0.03962144 0.03962144 NA
## item55 0.179508818 0.069985421 NA 0.03962144 0.03962144 NA
## item56 0.121377442 0.095553309 NA 0.05409641 0.05409641 NA
## item57 0.358175200 0.139642400 NA 0.07905694 0.07905694 NA
## item58 0.264906471 0.103279556 NA 0.05847053 0.05847053 NA
## item59 0.245089065 0.095553309 NA 0.05409641 0.05409641 NA
## item60 0.114972400 0.125356634 NA 0.07096922 0.07096922 NA
## item61 0.264906471 0.103279556 NA 0.05847053 0.05847053 NA
## item62 0.319119990 0.222834406 NA 0.12615514 0.12615514 NA
## item63 0.143474023 0.022247460 NA 0.10795838 0.10795838 NA
## item64 0.230678180 -0.016778901 NA 0.09119215 0.09119215 NA
## item65 0.207642791 0.012849851 NA 0.10366584 0.10366584 NA
## item66 -0.080100188 0.003253000 NA 0.09944903 0.09944903 NA
## item67 0.472677799 0.249615088 NA 0.14131672 0.14131672 NA
## item68 0.269902479 -0.058803524 NA -0.12615514 0.15243746 NA
## item69 0.150764204 0.290767011 NA 0.16461440 0.16461440 NA
## item70 0.207642791 0.183110381 NA 0.10366584 0.10366584 NA
## item71 0.189257192 0.040644851 NA 0.11682313 -0.16461440 NA
## item72 0.137535012 0.086286697 NA -0.13608276 0.14131672 NA
## item73 0.080100188 -0.175662013 NA -0.09944903 -0.09944903 NA
## item74 0.185756412 0.269258240 NA 0.15243746 0.15243746 NA
## item75 0.401429057 0.478634421 NA 0.27097338 0.27097338 NA
## item76 0.252059189 0.198431348 NA 0.11233963 0.11233963 NA
## item77 -0.072804013 0.006600984 NA 0.20180184 -0.09529531 NA
## item78 0.281393472 0.240370085 NA 0.13608276 0.13608276 NA
## item79 0.339342009 0.507937004 NA 0.28756270 0.28756270 NA
## item80 0.374988924 0.314642654 NA 0.17813133 0.17813133 NA
## item81 0.504709348 0.277304069 NA -0.07096922 0.27097338 NA
## item82 0.162071147 0.106679292 NA 0.30662207 -0.06271815 NA
## item83 0.496737540 0.541602560 NA 0.30662207 0.30662207 NA
## item84 0.232287684 0.299249708 NA 0.28756270 -0.06687505 NA
## item85 0.098589109 0.223634099 NA 0.23145502 -0.08308642 NA
## item86 0.286136701 0.006600984 NA -0.09529531 -0.09529531 NA
## item87 -0.139439796 0.016778901 NA -0.09119215 0.21088185 NA
## item88 0.436491777 0.685565460 NA 0.38812501 0.38812501 NA
## item89 0.273626611 0.324140926 NA -0.06271815 0.30662207 NA
## item90 0.323276078 0.239898483 NA 0.24325213 0.24325213 NA
## item91 0.083814401 0.200277585 NA -0.04475718 0.42966892 NA
## item92 0.095387249 0.379972479 NA 0.70027467 -0.02746175 NA
## item93 0.002334182 -0.095553309 NA -0.05409641 -0.05409641 NA
## item94 0.296189549 -0.069985421 NA -0.03962144 -0.03962144 NA
## item95 1.000000000 0.389871774 NA 0.22072143 0.22072143 NA
## item96 0.389871774 1.000000000 NA 0.56613852 0.56613852 NA
## item97 NA NA 1 NA NA NA
## item98 0.220721428 0.566138517 NA 1.00000000 -0.01923077 NA
## item99 0.220721428 0.566138517 NA -0.01923077 1.00000000 NA
## item100 NA NA NA NA NA 1
## item101 NA NA NA NA NA NA
## item102 NA NA NA NA NA NA
## item103 -0.153896753 -0.060000000 NA -0.03396831 -0.03396831 NA
## item104 0.083814401 -0.079056942 NA -0.04475718 -0.04475718 NA
## item105 NA NA NA NA NA NA
## item106 0.095387249 0.379972479 NA 0.70027467 -0.02746175 NA
## item107 0.095387249 0.379972479 NA -0.02746175 -0.02746175 NA
## item108 NA NA NA NA NA NA
## item09 NA NA NA NA NA NA
## item110 NA NA NA NA NA NA
## item101 item102 item103 item104 item105 item106
## item1 NA NA NA NA NA NA
## item2 NA NA NA NA NA NA
## item3 NA NA NA NA NA NA
## item4 NA NA NA NA NA NA
## item5 NA NA NA NA NA NA
## item6 NA NA NA NA NA NA
## item7 NA NA NA NA NA NA
## item8 NA NA NA NA NA NA
## item9 NA NA NA NA NA NA
## item10 NA NA NA NA NA NA
## item11 NA NA NA NA NA NA
## item12 NA NA NA NA NA NA
## item13 NA NA NA NA NA NA
## item14 NA NA NA NA NA NA
## item15 NA NA NA NA NA NA
## item16 NA NA NA NA NA NA
## item17 NA NA NA NA NA NA
## item18 NA NA NA NA NA NA
## item19 NA NA NA NA NA NA
## item20 NA NA NA NA NA NA
## item21 NA NA NA NA NA NA
## item22 NA NA NA NA NA NA
## item23 NA NA NA NA NA NA
## item24 NA NA NA NA NA NA
## item25 NA NA NA NA NA NA
## item26 NA NA NA NA NA NA
## item27 NA NA NA NA NA NA
## item28 NA NA NA NA NA NA
## item29 NA NA NA NA NA NA
## item30 NA NA NA NA NA NA
## item31 NA NA NA NA NA NA
## item32 NA NA 0.033968311 0.044757180 NA 0.027461752
## item33 NA NA NA NA NA NA
## item34 NA NA 0.033968311 0.044757180 NA 0.027461752
## item35 NA NA NA NA NA NA
## item36 NA NA NA NA NA NA
## item37 NA NA NA NA NA NA
## item38 NA NA NA NA NA NA
## item39 NA NA NA NA NA NA
## item40 NA NA NA NA NA NA
## item41 NA NA 0.033968311 0.044757180 NA 0.027461752
## item42 NA NA NA NA NA NA
## item43 NA NA 0.033968311 0.044757180 NA 0.027461752
## item44 NA NA 0.048507125 0.063913749 NA 0.039215686
## item45 NA NA NA NA NA NA
## item46 NA NA NA NA NA NA
## item47 NA NA NA NA NA NA
## item48 NA NA NA NA NA NA
## item49 NA NA 0.060000000 0.079056942 NA 0.048507125
## item50 NA NA 0.033968311 0.044757180 NA 0.027461752
## item51 NA NA 0.048507125 0.063913749 NA 0.039215686
## item52 NA NA 0.087518995 0.115316401 NA 0.070754914
## item53 NA NA 0.087518995 0.115316401 NA 0.070754914
## item54 NA NA 0.069985421 0.092213889 NA 0.056579860
## item55 NA NA 0.069985421 0.092213889 NA 0.056579860
## item56 NA NA 0.095553309 -0.255402293 NA -0.215197185
## item57 NA NA 0.139642400 0.183995018 NA 0.112894190
## item58 NA NA 0.103279556 0.136082763 NA 0.083496572
## item59 NA NA 0.095553309 0.125902539 NA 0.077250271
## item60 NA NA 0.125356634 0.165171868 NA 0.101344832
## item61 NA NA 0.103279556 0.136082763 NA 0.083496572
## item62 NA NA 0.058803524 0.293610110 NA 0.180150940
## item63 NA NA 0.022247460 0.118091943 NA 0.154165763
## item64 NA NA -0.016778901 0.212238180 NA 0.130223403
## item65 NA NA 0.183110381 0.106666344 NA 0.148035969
## item66 NA NA -0.169156013 0.231455025 NA 0.142014320
## item67 NA NA 0.249615088 0.328896757 NA 0.201801838
## item68 NA NA 0.105227358 0.354778883 NA 0.018765723
## item69 NA NA 0.125061080 -0.009886946 NA 0.034123238
## item70 NA NA 0.012849851 0.241269112 NA 0.148035969
## item71 NA NA -0.290767011 0.009886946 NA 0.166824719
## item72 NA NA 0.249615088 0.199774327 NA 0.003737071
## item73 NA NA -0.003253000 0.313750145 NA 0.067062318
## item74 NA NA 0.269258240 0.225101084 NA 0.217682385
## item75 NA NA 0.277304069 0.312324987 NA 0.142804081
## item76 NA NA 0.198431348 -0.002490060 NA -0.042015348
## item77 NA NA 0.006600984 0.331377021 NA 0.288175264
## item78 NA NA 0.240370085 0.316715396 NA 0.194327696
## item79 NA NA 0.090562412 0.339302179 NA 0.410642729
## item80 NA NA 0.146197597 0.148243078 NA 0.050103873
## item81 NA NA 0.075973718 -0.006006250 NA -0.101344832
## item82 NA NA -0.110782342 0.025949965 NA 0.174148752
## item83 NA NA 0.106679292 0.197868482 NA 0.174148752
## item84 NA NA -0.118124885 0.339302179 NA 0.410642729
## item85 NA NA 0.038437111 -0.046962043 NA 0.105936008
## item86 NA NA 0.181527050 0.193085823 NA 0.076046250
## item87 NA NA 0.194635256 0.068977408 NA -0.130223403
## item88 NA NA -0.087518995 0.088409241 NA 0.241745955
## item89 NA NA 0.106679292 -0.145968552 NA -0.089562215
## item90 NA NA 0.239898483 -0.033968311 NA 0.347366737
## item91 NA NA 0.200277585 0.337500000 NA 0.274829121
## item92 NA NA 0.379972479 -0.063913749 NA 0.480392157
## item93 NA NA 0.627921742 0.446054709 NA -0.077250271
## item94 NA NA -0.069985421 0.640886530 NA -0.056579860
## item95 NA NA -0.153896753 0.083814401 NA 0.095387249
## item96 NA NA -0.060000000 -0.079056942 NA 0.379972479
## item97 NA NA NA NA NA NA
## item98 NA NA -0.033968311 -0.044757180 NA 0.700274671
## item99 NA NA -0.033968311 -0.044757180 NA -0.027461752
## item100 NA NA NA NA NA NA
## item101 1 NA NA NA NA NA
## item102 NA 1 NA NA NA NA
## item103 NA NA 1.000000000 -0.079056942 NA -0.048507125
## item104 NA NA -0.079056942 1.000000000 NA 0.274829121
## item105 NA NA NA NA 1 NA
## item106 NA NA -0.048507125 0.274829121 NA 1.000000000
## item107 NA NA 0.379972479 -0.063913749 NA -0.039215686
## item108 NA NA NA NA NA NA
## item09 NA NA NA NA NA NA
## item110 NA NA NA NA NA NA
## item107 item108 item09 item110
## item1 NA NA NA NA
## item2 NA NA NA NA
## item3 NA NA NA NA
## item4 NA NA NA NA
## item5 NA NA NA NA
## item6 NA NA NA NA
## item7 NA NA NA NA
## item8 NA NA NA NA
## item9 NA NA NA NA
## item10 NA NA NA NA
## item11 NA NA NA NA
## item12 NA NA NA NA
## item13 NA NA NA NA
## item14 NA NA NA NA
## item15 NA NA NA NA
## item16 NA NA NA NA
## item17 NA NA NA NA
## item18 NA NA NA NA
## item19 NA NA NA NA
## item20 NA NA NA NA
## item21 NA NA NA NA
## item22 NA NA NA NA
## item23 NA NA NA NA
## item24 NA NA NA NA
## item25 NA NA NA NA
## item26 NA NA NA NA
## item27 NA NA NA NA
## item28 NA NA NA NA
## item29 NA NA NA NA
## item30 NA NA NA NA
## item31 NA NA NA NA
## item32 0.02746175 NA NA NA
## item33 NA NA NA NA
## item34 0.02746175 NA NA NA
## item35 NA NA NA NA
## item36 NA NA NA NA
## item37 NA NA NA NA
## item38 NA NA NA NA
## item39 NA NA NA NA
## item40 NA NA NA NA
## item41 0.02746175 NA NA NA
## item42 NA NA NA NA
## item43 0.02746175 NA NA NA
## item44 0.03921569 NA NA NA
## item45 NA NA NA NA
## item46 NA NA NA NA
## item47 NA NA NA NA
## item48 NA NA NA NA
## item49 0.04850713 NA NA NA
## item50 0.02746175 NA NA NA
## item51 0.03921569 NA NA NA
## item52 0.07075491 NA NA NA
## item53 0.07075491 NA NA NA
## item54 0.05657986 NA NA NA
## item55 0.05657986 NA NA NA
## item56 0.07725027 NA NA NA
## item57 0.11289419 NA NA NA
## item58 0.08349657 NA NA NA
## item59 0.07725027 NA NA NA
## item60 0.10134483 NA NA NA
## item61 0.08349657 NA NA NA
## item62 0.18015094 NA NA NA
## item63 -0.05010387 NA NA NA
## item64 -0.30114162 NA NA NA
## item65 -0.05843525 NA NA NA
## item66 -0.27613896 NA NA NA
## item67 0.20180184 NA NA NA
## item68 -0.18015094 NA NA NA
## item69 0.03412324 NA NA NA
## item70 0.14803597 NA NA NA
## item71 -0.03412324 NA NA NA
## item72 0.20180184 NA NA NA
## item73 0.06706232 NA NA NA
## item74 0.21768239 NA NA NA
## item75 0.14280408 NA NA NA
## item76 0.16042224 NA NA NA
## item77 0.07604625 NA NA NA
## item78 0.19432770 NA NA NA
## item79 0.15757221 NA NA NA
## item80 0.25437351 NA NA NA
## item81 0.14280408 NA NA NA
## item82 -0.08956222 NA NA NA
## item83 0.17414875 NA NA NA
## item84 0.15757221 NA NA NA
## item85 0.10593601 NA NA NA
## item86 0.07604625 NA NA NA
## item87 0.08545911 NA NA NA
## item88 0.24174596 NA NA NA
## item89 0.17414875 NA NA NA
## item90 0.11723627 NA NA NA
## item91 -0.06391375 NA NA NA
## item92 -0.03921569 NA NA NA
## item93 0.21519718 NA NA NA
## item94 -0.05657986 NA NA NA
## item95 0.09538725 NA NA NA
## item96 0.37997248 NA NA NA
## item97 NA NA NA NA
## item98 -0.02746175 NA NA NA
## item99 -0.02746175 NA NA NA
## item100 NA NA NA NA
## item101 NA NA NA NA
## item102 NA NA NA NA
## item103 0.37997248 NA NA NA
## item104 -0.06391375 NA NA NA
## item105 NA NA NA NA
## item106 -0.03921569 NA NA NA
## item107 1.00000000 NA NA NA
## item108 NA 1 NA NA
## item09 NA NA 1 NA
## item110 NA NA NA 1*Wow! That was a lot of output!
The point of including it is to underscore the need to look carefully at
the data descriptives and to understand the features of the data. Here,
we note right away that there are a number of items where there is no
variance.
Calculating internal consistency on those items that have some
variability. We use the alpha() function in the psych
package (be careful on overlap with ggplot2 alpha function).
## Warning in cor.smooth(r): Matrix was not positive definite, smoothing was done## In smc, smcs < 0 were set to .0##
## Reliability analysis
## raw_alpha std.alpha G6(smc) average_r S/N ase mean sd median_r
## 0.92 0.92 1 0.17 12 0.015 0.49 0.16 0.15##
## Reliability analysis
## Call: psych::alpha(x = sb_item[, c(32, 34, 41, 43, 44, 49:96, 98, 99,
## 103, 104, 106, 107)])
##
## raw_alpha std.alpha G6(smc) average_r S/N ase mean sd median_r
## 0.92 0.92 1 0.17 12 0.015 0.49 0.16 0.15
##
## 95% confidence boundaries
## lower alpha upper
## Feldt 0.89 0.92 0.95
## Duhachek 0.89 0.92 0.95
##
## Reliability if an item is dropped:
## raw_alpha std.alpha G6(smc) average_r S/N var.r med.r
## item32 0.92 0.92 1.00 0.17 12 0.026 0.15
## item34 0.92 0.92 1.00 0.17 12 0.026 0.15
## item41 0.92 0.92 1.00 0.17 12 0.026 0.15
## item43 0.92 0.92 1.00 0.17 12 0.027 0.15
## item44 0.92 0.92 1.00 0.17 12 0.026 0.15
## item49 0.92 0.92 1.00 0.17 12 0.027 0.15
## item50 0.92 0.92 1.00 0.17 12 0.027 0.15
## item51 0.92 0.92 1.00 0.17 12 0.026 0.15
## item52 0.92 0.92 0.99 0.17 12 0.027 0.15
## item53 0.92 0.92 1.00 0.17 12 0.027 0.15
## item54 0.92 0.92 1.00 0.17 12 0.026 0.15
## item55 0.92 0.92 1.00 0.17 12 0.026 0.15
## item56 0.92 0.93 1.00 0.18 13 0.027 0.15
## item57 0.92 0.92 1.00 0.17 12 0.027 0.15
## item58 0.92 0.92 1.00 0.17 12 0.027 0.15
## item59 0.92 0.92 1.00 0.17 12 0.027 0.15
## item60 0.92 0.92 1.00 0.17 12 0.027 0.15
## item61 0.92 0.92 1.00 0.17 12 0.027 0.15
## item62 0.92 0.92 1.00 0.17 12 0.027 0.14
## item63 0.92 0.92 1.00 0.17 12 0.027 0.15
## item64 0.92 0.92 1.00 0.17 12 0.027 0.15
## item65 0.92 0.92 1.00 0.17 12 0.027 0.15
## item66 0.92 0.92 1.00 0.18 12 0.027 0.15
## item67 0.92 0.92 1.00 0.17 12 0.027 0.15
## item68 0.92 0.92 1.00 0.17 12 0.027 0.15
## item69 0.92 0.92 1.00 0.17 12 0.027 0.15
## item70 0.92 0.92 1.00 0.17 12 0.027 0.15
## item71 0.92 0.93 1.00 0.18 12 0.027 0.15
## item72 0.92 0.92 1.00 0.17 12 0.027 0.15
## item73 0.92 0.92 1.00 0.17 12 0.027 0.15
## item74 0.92 0.92 1.00 0.17 12 0.027 0.15
## item75 0.92 0.92 1.00 0.17 12 0.027 0.15
## item76 0.92 0.92 1.00 0.17 12 0.027 0.15
## item77 0.92 0.92 1.00 0.18 12 0.027 0.15
## item78 0.92 0.92 1.00 0.17 12 0.027 0.15
## item79 0.92 0.92 1.00 0.17 12 0.027 0.15
## item80 0.92 0.92 1.00 0.17 12 0.027 0.15
## item81 0.92 0.92 1.00 0.17 12 0.027 0.15
## item82 0.92 0.92 1.00 0.18 12 0.027 0.15
## item83 0.92 0.92 1.00 0.17 12 0.027 0.15
## item84 0.92 0.92 1.00 0.17 12 0.027 0.15
## item85 0.92 0.92 1.00 0.17 12 0.027 0.15
## item86 0.92 0.92 1.00 0.17 12 0.027 0.15
## item87 0.92 0.92 1.00 0.17 12 0.027 0.15
## item88 0.92 0.92 1.00 0.17 12 0.027 0.15
## item89 0.92 0.92 1.00 0.17 12 0.027 0.15
## item90 0.92 0.92 1.00 0.17 12 0.027 0.15
## item91 0.92 0.92 1.00 0.17 12 0.027 0.15
## item92 0.92 0.92 1.00 0.17 12 0.027 0.15
## item93 0.92 0.92 1.00 0.17 12 0.027 0.15
## item94 0.92 0.92 1.00 0.17 12 0.027 0.15
## item95 0.92 0.92 1.00 0.17 12 0.027 0.15
## item96 0.92 0.92 1.00 0.17 12 0.027 0.15
## item98 0.92 0.92 1.00 0.17 12 0.027 0.15
## item99 0.92 0.93 1.00 0.18 12 0.027 0.15
## item103 0.92 0.93 1.00 0.18 12 0.027 0.15
## item104 0.92 0.92 1.00 0.17 12 0.027 0.15
## item106 0.92 0.92 1.00 0.17 12 0.027 0.15
## item107 0.92 0.93 1.00 0.18 12 0.027 0.15
##
## Item statistics
## n raw.r std.r r.cor r.drop mean sd
## item32 53 0.37 0.454 0.447 0.357 0.981 0.14
## item34 53 0.37 0.454 0.447 0.357 0.981 0.14
## item41 53 0.37 0.454 0.447 0.357 0.981 0.14
## item43 53 0.33 0.350 0.344 0.312 0.981 0.14
## item44 53 0.51 0.569 0.568 0.491 0.962 0.19
## item49 53 0.33 0.372 0.371 0.305 0.943 0.23
## item50 53 0.33 0.350 0.344 0.312 0.981 0.14
## item51 53 0.51 0.569 0.568 0.491 0.962 0.19
## item52 53 0.55 0.526 0.526 0.524 0.887 0.32
## item53 53 0.65 0.670 0.671 0.631 0.887 0.32
## item54 53 0.52 0.582 0.582 0.494 0.925 0.27
## item55 53 0.62 0.668 0.669 0.606 0.925 0.27
## item56 53 0.09 0.093 0.092 0.054 0.868 0.34
## item57 53 0.65 0.639 0.639 0.627 0.755 0.43
## item58 53 0.55 0.574 0.574 0.523 0.849 0.36
## item59 53 0.57 0.601 0.600 0.546 0.868 0.34
## item60 53 0.60 0.613 0.613 0.573 0.792 0.41
## item61 53 0.50 0.533 0.531 0.469 0.849 0.36
## item62 53 0.64 0.610 0.610 0.610 0.547 0.50
## item63 53 0.35 0.350 0.348 0.307 0.623 0.49
## item64 53 0.47 0.462 0.462 0.432 0.698 0.46
## item65 53 0.53 0.512 0.508 0.495 0.642 0.48
## item66 53 0.26 0.269 0.269 0.213 0.660 0.48
## item67 53 0.68 0.650 0.648 0.651 0.491 0.50
## item68 53 0.42 0.395 0.395 0.371 0.453 0.50
## item69 53 0.47 0.452 0.452 0.429 0.415 0.50
## item70 53 0.44 0.441 0.439 0.392 0.642 0.48
## item71 53 0.24 0.235 0.234 0.192 0.585 0.50
## item72 53 0.46 0.432 0.432 0.414 0.491 0.50
## item73 53 0.31 0.288 0.288 0.267 0.340 0.48
## item74 53 0.65 0.621 0.621 0.621 0.453 0.50
## item75 53 0.56 0.556 0.556 0.532 0.208 0.41
## item76 53 0.55 0.529 0.529 0.507 0.604 0.49
## item77 53 0.27 0.264 0.264 0.218 0.321 0.47
## item78 53 0.62 0.595 0.594 0.587 0.509 0.50
## item79 53 0.57 0.562 0.563 0.542 0.189 0.39
## item80 53 0.60 0.573 0.573 0.569 0.377 0.49
## item81 53 0.35 0.334 0.334 0.313 0.208 0.41
## item82 53 0.28 0.263 0.260 0.242 0.170 0.38
## item83 53 0.50 0.497 0.497 0.465 0.170 0.38
## item84 53 0.46 0.434 0.435 0.423 0.189 0.39
## item85 53 0.41 0.383 0.383 0.365 0.264 0.45
## item86 53 0.47 0.428 0.427 0.430 0.321 0.47
## item87 53 0.31 0.293 0.293 0.263 0.302 0.46
## item88 53 0.43 0.443 0.443 0.400 0.113 0.32
## item89 53 0.35 0.329 0.329 0.314 0.170 0.38
## item90 53 0.42 0.420 0.420 0.385 0.245 0.43
## item91 53 0.38 0.369 0.368 0.352 0.094 0.30
## item92 53 0.26 0.294 0.293 0.243 0.038 0.19
## item93 53 0.41 0.398 0.398 0.384 0.132 0.34
## item94 53 0.30 0.278 0.278 0.275 0.075 0.27
## item95 53 0.49 0.473 0.473 0.456 0.283 0.45
## item96 53 0.38 0.410 0.411 0.356 0.057 0.23
## item98 53 0.24 0.280 0.280 0.230 0.019 0.14
## item99 53 0.23 0.240 0.240 0.215 0.019 0.14
## item103 53 0.22 0.227 0.228 0.195 0.057 0.23
## item104 53 0.36 0.333 0.331 0.330 0.094 0.30
## item106 53 0.27 0.298 0.298 0.254 0.038 0.19
## item107 53 0.19 0.201 0.201 0.168 0.038 0.19
##
## Non missing response frequency for each item
## 0 1 miss
## item32 0.02 0.98 0
## item34 0.02 0.98 0
## item41 0.02 0.98 0
## item43 0.02 0.98 0
## item44 0.04 0.96 0
## item49 0.06 0.94 0
## item50 0.02 0.98 0
## item51 0.04 0.96 0
## item52 0.11 0.89 0
## item53 0.11 0.89 0
## item54 0.08 0.92 0
## item55 0.08 0.92 0
## item56 0.13 0.87 0
## item57 0.25 0.75 0
## item58 0.15 0.85 0
## item59 0.13 0.87 0
## item60 0.21 0.79 0
## item61 0.15 0.85 0
## item62 0.45 0.55 0
## item63 0.38 0.62 0
## item64 0.30 0.70 0
## item65 0.36 0.64 0
## item66 0.34 0.66 0
## item67 0.51 0.49 0
## item68 0.55 0.45 0
## item69 0.58 0.42 0
## item70 0.36 0.64 0
## item71 0.42 0.58 0
## item72 0.51 0.49 0
## item73 0.66 0.34 0
## item74 0.55 0.45 0
## item75 0.79 0.21 0
## item76 0.40 0.60 0
## item77 0.68 0.32 0
## item78 0.49 0.51 0
## item79 0.81 0.19 0
## item80 0.62 0.38 0
## item81 0.79 0.21 0
## item82 0.83 0.17 0
## item83 0.83 0.17 0
## item84 0.81 0.19 0
## item85 0.74 0.26 0
## item86 0.68 0.32 0
## item87 0.70 0.30 0
## item88 0.89 0.11 0
## item89 0.83 0.17 0
## item90 0.75 0.25 0
## item91 0.91 0.09 0
## item92 0.96 0.04 0
## item93 0.87 0.13 0
## item94 0.92 0.08 0
## item95 0.72 0.28 0
## item96 0.94 0.06 0
## item98 0.98 0.02 0
## item99 0.98 0.02 0
## item103 0.94 0.06 0
## item104 0.91 0.09 0
## item106 0.96 0.04 0
## item107 0.96 0.04 0Estimated Internal Consistency Reliability is .92.
Additional interpretations of the additional info provided. The help description provided by Revelle in the psych package is very good.
Summary statistics raw_alpha: Chronbach’s \(\alpha\), values >= .7 or .8 indicate good reliability std.alpha: similar to raw_alpha but based on correlations Gd: Guttman’s lambda 6 (is another version calculated from the squared multiple correlation) average_r: average inter-item correlation (the basis for std.alpha) S/N: A useful index of the quality of the test that is linear with the number of items and the average correlation mean: scale mean sd: scale standard deviation
Reliability if an item is dropped Each row refers to what happens when that particular item is dropped/deleted. We are checking if any of the raw alpha values are greater thatn the overall alpha. If yes, then dropping that item will increase the overall alpha of the scale. Other columns indicate how other statistics change withuot the item
Item statistics raw.r: correlation between the item and the total score of the scale (item-total correlations). There are some overlaps because the item is included in the scale. The other columns do corrections for that. mean and sd: mean dna sd of the scale if the item is dropped All items should correlate with the total score, so we are looking for items with < .3 correlations or so.
Frequency Table Helps for checking the distributions (e.g., if everyone has the same response … low variance, no discriminability … lower reliability).
Split-Halves with BPI
Lets try another example …
Behavior Problems Index - Anxious/Depressed
bpi <- read.table('bpi_ppvt_item_first.dat', na.strings='.')
# Give the variable names
names(bpi)<-c('id','race','sex','m_age_at_birth','learningdisability','age',
'homeA_cogstim','homeB_cogstim','homeC_cogstim','homeD_cogstim',
'bpi_total','bpi_antisocial','bpi_anxdep','bpi_headstrong',
'bpi_hyperactive','bpi_dependentT','bpi_conflicts',
'mem_loc','verb_memAB','verb_memC',
'dspanT','dspanF','dspanB',
'piat_math','piat_rec','piat_comp','ppvt',
'bpi_mood','bpi_love','bpi_strung',
'bpi_cheats','bpi_anxious','bpi_argues',
'bpi_concentrate','bpi_confused','bpi_cruel',
'bpi_disobedient','bpi_sorry','bpi_alongothers',
'bpi_impulsive','bpi_worthless','bpi_notliked',
'bpi_obsessions','bpi_restless','bpi_stubborn',
'bpi_temper','bpi_depressed','bpi_withdrawn',
'bpi_breaks','bpi_clings','bpi_cries',
'bpi_demands','bpi_dependent','bpi_disobed_scl',
'bpi_teacher','bpi_feels','bpi_trblmkrs',
'bpi_secretive','bpi_worries',
'ppvt_item1','ppvt_item2','ppvt_item3','ppvt_item4','ppvt_item5',
'ppvt_item6','ppvt_item7','ppvt_item8','ppvt_item9','ppvt_item10',
'ppvt_item11','ppvt_item12','ppvt_item13','ppvt_item14','ppvt_item15',
'ppvt_item16','ppvt_item17','ppvt_item18','ppvt_item19','ppvt_item20',
'ppvt_item21','ppvt_item22','ppvt_item23','ppvt_item24','ppvt_item25',
'ppvt_item26','ppvt_item27','ppvt_item28','ppvt_item29','ppvt_item30',
'ppvt_item31','ppvt_item32','ppvt_item33','ppvt_item34','ppvt_item35',
'ppvt_item36','ppvt_item37','ppvt_item38','ppvt_item39','ppvt_item40',
'ppvt_item41','ppvt_item42','ppvt_item43','ppvt_item44','ppvt_item45',
'ppvt_item46','ppvt_item47','ppvt_item48','ppvt_item49','ppvt_item50',
'ppvt_item51','ppvt_item52','ppvt_item53','ppvt_item54','ppvt_item55',
'ppvt_item56','ppvt_item57','ppvt_item58','ppvt_item59','ppvt_item60',
'ppvt_item61','ppvt_item62','ppvt_item63','ppvt_item64','ppvt_item65',
'ppvt_item66','ppvt_item67','ppvt_item68','ppvt_item69','ppvt_item70',
'ppvt_item71','ppvt_item72','ppvt_item73','ppvt_item74','ppvt_item75',
'ppvt_item76','ppvt_item77','ppvt_item78','ppvt_item79','ppvt_item80',
'ppvt_item81','ppvt_item82','ppvt_item83','ppvt_item84','ppvt_item85',
'ppvt_item86','ppvt_item87','ppvt_item88','ppvt_item89','ppvt_item90',
'ppvt_item91','ppvt_item92','ppvt_item93','ppvt_item94','ppvt_item95',
'ppvt_item96','ppvt_item97','ppvt_item98','ppvt_item99','ppvt_item100',
'ppvt_item101','ppvt_item102','ppvt_item103','ppvt_item104','ppvt_item105',
'ppvt_item106','ppvt_item107','ppvt_item108','ppvt_item109','ppvt_item110',
'ppvt_item111','ppvt_item112','ppvt_item113','ppvt_item114','ppvt_item115',
'ppvt_item116','ppvt_item117','ppvt_item118','ppvt_item119','ppvt_item120',
'ppvt_item121','ppvt_item122','ppvt_item123','ppvt_item124','ppvt_item125',
'ppvt_item126','ppvt_item127','ppvt_item128','ppvt_item129','ppvt_item130',
'ppvt_item131','ppvt_item132','ppvt_item133','ppvt_item134','ppvt_item135',
'ppvt_item136','ppvt_item137','ppvt_item138','ppvt_item139','ppvt_item140',
'ppvt_item141','ppvt_item142','ppvt_item143','ppvt_item144','ppvt_item145',
'ppvt_item146','ppvt_item147','ppvt_item148','ppvt_item149','ppvt_item150',
'ppvt_item151','ppvt_item152','ppvt_item153','ppvt_item154','ppvt_item155',
'ppvt_item156','ppvt_item157','ppvt_item158','ppvt_item159','ppvt_item160',
'ppvt_item161','ppvt_item162','ppvt_item163','ppvt_item164','ppvt_item165',
'ppvt_item166','ppvt_item167','ppvt_item168','ppvt_item169','ppvt_item170',
'ppvt_item171','ppvt_item172','ppvt_item173','ppvt_item174','ppvt_item175')
#subselecting items in BPI questionniare
bpi <- bpi[ ,c("bpi_mood", "bpi_love", "bpi_strung",
"bpi_cheats", "bpi_anxious", "bpi_argues", "bpi_concentrate",
"bpi_confused", "bpi_cruel", "bpi_disobedient", "bpi_sorry",
"bpi_alongothers", "bpi_impulsive", "bpi_worthless", "bpi_notliked",
"bpi_obsessions", "bpi_restless", "bpi_stubborn", "bpi_temper",
"bpi_depressed", "bpi_withdrawn", "bpi_breaks", "bpi_clings",
"bpi_cries", "bpi_demands", "bpi_dependent", "bpi_disobed_scl",
"bpi_teacher", "bpi_feels", "bpi_trblmkrs", "bpi_secretive",
"bpi_worries")]
head(bpi)## bpi_mood bpi_love bpi_strung bpi_cheats bpi_anxious bpi_argues
## 1 0 0 0 0 1 0
## 2 0 1 0 0 1 0
## 3 NA NA NA NA NA NA
## 4 0 0 0 0 0 0
## 5 0 0 0 0 0 0
## 6 0 0 0 0 0 1
## bpi_concentrate bpi_confused bpi_cruel bpi_disobedient bpi_sorry
## 1 0 0 0 0 0
## 2 1 0 0 0 0
## 3 NA NA NA NA NA
## 4 0 0 0 1 0
## 5 0 0 0 1 0
## 6 0 0 0 0 0
## bpi_alongothers bpi_impulsive bpi_worthless bpi_notliked bpi_obsessions
## 1 0 1 0 0 0
## 2 1 1 0 0 0
## 3 NA NA NA NA NA
## 4 0 0 0 0 0
## 5 0 0 0 0 0
## 6 0 0 0 0 1
## bpi_restless bpi_stubborn bpi_temper bpi_depressed bpi_withdrawn bpi_breaks
## 1 1 1 0 0 0 0
## 2 1 0 0 0 0 0
## 3 NA NA NA NA NA NA
## 4 0 0 0 0 0 0
## 5 0 1 0 0 0 0
## 6 0 0 0 0 0 0
## bpi_clings bpi_cries bpi_demands bpi_dependent bpi_disobed_scl bpi_teacher
## 1 0 0 1 3 0 0
## 2 0 0 1 3 0 0
## 3 NA NA NA NA NA NA
## 4 1 0 0 3 NA NA
## 5 0 0 1 3 0 0
## 6 0 0 0 3 0 0
## bpi_feels bpi_trblmkrs bpi_secretive bpi_worries
## 1 0 0 0 1
## 2 0 0 0 0
## 3 NA NA NA NA
## 4 1 0 0 0
## 5 0 0 0 0
## 6 1 0 0 1Calculating 10 parallel test scores
#attaching for ease of programming (remember to detach)
attach(bpi)
bpi$split01a = bpi_mood + bpi_anxious + bpi_worthless
bpi$split01b = bpi_notliked + bpi_depressed + bpi_withdrawn
bpi$split02a = bpi_mood + bpi_anxious + bpi_notliked
bpi$split02b = bpi_worthless + bpi_depressed + bpi_withdrawn
bpi$split03a = bpi_mood + bpi_anxious + bpi_depressed
bpi$split03b = bpi_notliked + bpi_worthless + bpi_withdrawn
bpi$split04a = bpi_mood + bpi_anxious + bpi_withdrawn
bpi$split04b = bpi_notliked + bpi_depressed + bpi_worthless
bpi$split05a = bpi_mood + bpi_worthless + bpi_notliked
bpi$split05b = bpi_anxious + bpi_depressed + bpi_withdrawn
bpi$split06a = bpi_mood + bpi_worthless + bpi_depressed
bpi$split06b = bpi_notliked + bpi_anxious + bpi_withdrawn
bpi$split07a = bpi_mood + bpi_worthless + bpi_withdrawn
bpi$split07b = bpi_notliked + bpi_depressed + bpi_anxious
bpi$split08a = bpi_anxious + bpi_worthless + bpi_notliked
bpi$split08b = bpi_mood + bpi_depressed + bpi_withdrawn
bpi$split09a = bpi_anxious + bpi_worthless + bpi_depressed
bpi$split09b = bpi_mood + bpi_notliked + bpi_withdrawn
bpi$split10a = bpi_anxious + bpi_worthless + bpi_withdrawn
bpi$split10b = bpi_mood + bpi_notliked + bpi_depressed
#attaching for ease of programming (remember to detach)
detach(bpi)Plotting and descriptives of the first pair of parallel tests
#Bivariate scatter plot
bpi %>%
ggplot(aes(x = split01b , y = split01a)) +
geom_point(position="jitter") +
#geom_smooth(method=lm, se=FALSE, fullrange=TRUE) +
#stat_ellipse() +
xlab("Parallel Test 1b") +
ylab("Parallel Test 1a") +
ggtitle("Parallel Test Reliability")## Warning: Removed 4651 rows containing missing values or values outside the scale range
## (`geom_point()`).
## Min. 1st Qu. Median Mean 3rd Qu. Max. NA's
## 0.000 0.000 1.000 1.049 2.000 6.000 4626## Min. 1st Qu. Median Mean 3rd Qu. Max. NA's
## 0.000 0.000 0.000 0.371 0.000 6.000 4618Calculating Correlations between Split Halves
#Make a little dataset to store the correlations
splithalf <- data.frame(split=c(1:10),
correlation=NA)
#Calculate Correlation between Split-Halves
splithalf$correlation[1] <- cor(bpi$split01a, bpi$split01b,use="complete.obs")
splithalf$correlation[2] <- cor(bpi$split02a, bpi$split02b,use="complete.obs")
splithalf$correlation[3] <- cor(bpi$split03a, bpi$split03b,use="complete.obs")
splithalf$correlation[4] <- cor(bpi$split04a, bpi$split04b,use="complete.obs")
splithalf$correlation[5] <- cor(bpi$split05a, bpi$split05b,use="complete.obs")
splithalf$correlation[6] <- cor(bpi$split06a, bpi$split06b,use="complete.obs")
splithalf$correlation[7] <- cor(bpi$split07a, bpi$split07b,use="complete.obs")
splithalf$correlation[8] <- cor(bpi$split08a, bpi$split08b,use="complete.obs")
splithalf$correlation[9] <- cor(bpi$split09a, bpi$split09b,use="complete.obs")
splithalf$correlation[10] <- cor(bpi$split10a, bpi$split10b,use="complete.obs")
splithalf## split correlation
## 1 1 0.4528428
## 2 2 0.4706326
## 3 3 0.4445960
## 4 4 0.4559784
## 5 5 0.4836285
## 6 6 0.4990445
## 7 7 0.5289666
## 8 8 0.5089635
## 9 9 0.5044956
## 10 10 0.4920657We can then calculate the split-half reliabilites based on the Spearman-Brown Formula …
\[R_{xx} = \frac{2r_{hh}}{1 + r_{hh}}\] where \(r_{hh}\) is the split-half correlation.
Calculating split-half reliability for all 10 split-halves.
## split correlation reliability
## 1 1 0.4528428 0.6233886
## 2 2 0.4706326 0.6400411
## 3 3 0.4445960 0.6155299
## 4 4 0.4559784 0.6263533
## 5 5 0.4836285 0.6519537
## 6 6 0.4990445 0.6658168
## 7 7 0.5289666 0.6919270
## 8 8 0.5089635 0.6745869
## 9 9 0.5044956 0.6706508
## 10 10 0.4920657 0.6595765The average reliability across all 10 split-halves is …
## [1] 0.6519824Average Split-Half Reliability = .65
Lets calculate the scale … and examine the items
Item-level descriptives, Scale score calculation, and scale descriptives
#selecting the subset of variables of interest
myvars <- bpi[ ,c('bpi_mood','bpi_anxious','bpi_worthless','bpi_notliked','bpi_depressed','bpi_withdrawn')]
#Bivariate pairs plot
pairs.panels(myvars)
## bpi_mood bpi_anxious bpi_worthless bpi_notliked bpi_depressed
## 0.39677948 0.29194138 0.09485715 0.14913701 0.12783316
## bpi_withdrawn
## 0.12850195## bpi_mood bpi_anxious bpi_worthless bpi_notliked bpi_depressed
## bpi_mood 0.397 0.095 0.045 0.043 0.060
## bpi_anxious 0.095 0.292 0.044 0.032 0.053
## bpi_worthless 0.045 0.044 0.095 0.035 0.044
## bpi_notliked 0.043 0.032 0.035 0.149 0.038
## bpi_depressed 0.060 0.053 0.044 0.038 0.128
## bpi_withdrawn 0.039 0.046 0.033 0.032 0.044
## bpi_withdrawn
## bpi_mood 0.039
## bpi_anxious 0.046
## bpi_worthless 0.033
## bpi_notliked 0.032
## bpi_depressed 0.044
## bpi_withdrawn 0.129bpi_anxdep <- as.data.frame(myvars$bpi_mood + myvars$bpi_anxious + myvars$bpi_worthless +
myvars$bpi_notliked + myvars$bpi_depressed + myvars$bpi_withdrawn)
names(bpi_anxdep) <- "bpi_anxdep"
#Summary statistics for scale
describe(bpi_anxdep)## vars n mean sd median trimmed mad min max range skew kurtosis
## bpi_anxdep 1 4280 1.42 1.59 1 1.14 1.48 0 11 11 1.72 3.97
## se
## bpi_anxdep 0.02## bpi_anxdep
## bpi_anxdep 2.54239With all that info we can calculate Chronbach’s alpha in two ways:
- using item covariances and scale-score variance \[R_{xx} = \left(\frac{k}{k-1}\right)\left(\frac{\Sigma c_{ii}}{s_{x}^2}\right)\]
## bpi_anxdep
## bpi_anxdep 0.6447477Coefficient alpha = .64
- using item variances and scale-score variance \[R_{xx} = \left(\frac{k}{k-1}\right)\left(1-\frac{\Sigma s_{i}^2}{s_{x}^2}\right)\]
## bpi_anxdep
## bpi_anxdep 0.6387721Coefficient alpha = .64
We can also calculate alpha directly …
- using the
alpha()function in the psych package …
##
## Reliability analysis
## raw_alpha std.alpha G6(smc) average_r S/N ase mean sd median_r
## 0.64 0.68 0.64 0.26 2.1 0.0057 0.24 0.27 0.27Internal Consistency (Coefficeint Alpha) = .64
Note that the slight difference with above is because alpha is calculated directly from the inter-item correlations.
The alpha() function also provides additional
information to do item diagnosis.
##
## Reliability analysis
## Call: psych::alpha(x = myvars)
##
## raw_alpha std.alpha G6(smc) average_r S/N ase mean sd median_r
## 0.64 0.68 0.64 0.26 2.1 0.0057 0.24 0.27 0.27
##
## 95% confidence boundaries
## lower alpha upper
## Feldt 0.63 0.64 0.65
## Duhachek 0.63 0.64 0.65
##
## Reliability if an item is dropped:
## raw_alpha std.alpha G6(smc) average_r S/N alpha se var.r med.r
## bpi_mood 0.63 0.66 0.61 0.28 1.9 0.0062 0.0041 0.28
## bpi_anxious 0.60 0.65 0.60 0.27 1.8 0.0066 0.0048 0.27
## bpi_worthless 0.59 0.61 0.57 0.24 1.6 0.0067 0.0034 0.25
## bpi_notliked 0.61 0.66 0.61 0.28 1.9 0.0062 0.0037 0.27
## bpi_depressed 0.57 0.60 0.56 0.23 1.5 0.0069 0.0026 0.23
## bpi_withdrawn 0.60 0.64 0.59 0.26 1.8 0.0064 0.0043 0.27
##
## Item statistics
## n raw.r std.r r.cor r.drop mean sd
## bpi_mood 4353 0.67 0.57 0.42 0.36 0.637 0.63
## bpi_anxious 4329 0.65 0.60 0.46 0.38 0.328 0.54
## bpi_worthless 4331 0.60 0.67 0.58 0.45 0.085 0.31
## bpi_notliked 4328 0.54 0.57 0.43 0.33 0.121 0.39
## bpi_depressed 4327 0.64 0.69 0.61 0.48 0.130 0.36
## bpi_withdrawn 4326 0.56 0.61 0.49 0.38 0.121 0.36
##
## Non missing response frequency for each item
## 0 1 2 miss
## bpi_mood 0.45 0.47 0.08 0.51
## bpi_anxious 0.71 0.26 0.04 0.52
## bpi_worthless 0.92 0.07 0.01 0.52
## bpi_notliked 0.90 0.08 0.02 0.52
## bpi_depressed 0.88 0.12 0.01 0.52
## bpi_withdrawn 0.89 0.10 0.01 0.52Using this information we can evaluate how the items are performing and if we would like to make any adjustments to the scale (e.g., by removing items). Remember that removing items changes how much coverage there is of the construct space. There is a tension between increasing internal consistency and coverage of the factor space. It is a classic statistics vs. theory tension.
Finally we can calculate alpha …
- using Hoyt’s method via ANOVA
where \[R_{xx} = \left(\frac{MS_{person}-MS_{error}}{MS_{person}}\right)\]
#Hoyt's Method
#Create Data with the variables are 'Person ID' 'Item Number' & 'Score';
data_mood <- data.frame(id = rownames(myvars),
score = myvars$bpi_mood,
item = 1)
data_anxious <- data.frame(id = rownames(myvars),
score = myvars$bpi_anxious,
item = 2)
data_worthless <- data.frame(id = rownames(myvars),
score = myvars$bpi_worthless,
item = 3)
data_notliked <- data.frame(id = rownames(myvars),
score = myvars$bpi_notliked,
item = 4)
data_depressed <- data.frame(id = rownames(myvars),
score = myvars$bpi_depressed,
item = 5)
data_withdrawn <- data.frame(id = rownames(myvars),
score = myvars$bpi_withdrawn,
item = 6)
hoytdata <- rbind(data_mood,data_anxious,data_worthless,data_notliked,data_depressed,data_withdrawn)
hoytdata$id <- as.numeric(hoytdata$id)
#descriptives
describe(hoytdata)## vars n mean sd median trimmed mad min max range skew
## id 1 53586 4466.00 2578.18 4466.0 4466.00 3310.65 1 8931 8930 0.00
## score 2 25994 0.24 0.49 0.0 0.14 0.00 0 2 2 1.93
## item 3 53586 3.50 1.71 3.5 3.50 2.22 1 6 5 0.00
## kurtosis se
## id -1.20 11.14
## score 2.94 0.00
## item -1.27 0.01#compute the analysis of variance
model <- lm(score ~ factor(item) + factor(id),
data=hoytdata[which(hoytdata$id <=750),],
na.action=na.exclude)
#summary(model)
anova(model)## Analysis of Variance Table
##
## Response: score
## Df Sum Sq Mean Sq F value Pr(>F)
## factor(item) 5 85.156 17.0312 122.5492 < 2.2e-16 ***
## factor(id) 433 172.633 0.3987 2.8688 < 2.2e-16 ***
## Residuals 2148 298.517 0.1390
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1## [1] 0.6513669Approximate (partial sample) alpha via Hoyt’s method = .65
Moving from Cronbach’s alpha to Omega
While Cronbach’s alpha is popular, it may not always be the best
choice for doing reliability evaluations. More complete reliability
analyses of a single scale can be done using the omega()
function in the psych package which finds omega_hierarchical and
omega_total based upon a hierarchical factor analysis.
McDonald’s omega, and other versions of Omega, are model-based estimate
of reliability that the field is (slowly) moving toward.
Here, we use the same data used in the papers arguing over and demonstrating to move towards Omega.
#loading the data from the psych package
data(bfi, package = "psych")
#selecting the neuroticism items
neur <- bfi[,16:20]There are a variety of ways of calculating various version of Omega in R
Using the psych package (Revelle’s hierarchical omega)
## Loading required namespace: GPArotation
## Omega
## Call: omegah(m = m, nfactors = nfactors, fm = fm, key = key, flip = flip,
## digits = digits, title = title, sl = sl, labels = labels,
## plot = plot, n.obs = n.obs, rotate = rotate, Phi = Phi, option = option,
## covar = covar)
## Alpha: 0.81
## G.6: 0.8
## Omega Hierarchical: 0.73
## Omega H asymptotic: 0.86
## Omega Total 0.85
##
## Schmid Leiman Factor loadings greater than 0.2
## g F1* F2* F3* h2 h2 u2 p2 com
## N1 0.61 0.59 0.73 0.73 0.27 0.51 2.02
## N2 0.60 0.58 0.70 0.70 0.30 0.51 2.02
## N3 0.75 0.59 0.59 0.41 0.95 1.11
## N4 0.70 0.50 0.50 0.50 0.99 1.03
## N5 0.57 0.35 0.35 0.65 0.92 1.16
##
## With Sums of squares of:
## g F1* F2* F3* h2
## 2.11 0.72 0.01 0.03 1.75
##
## general/max 1.21 max/min = 315.53
## mean percent general = 0.78 with sd = 0.24 and cv of 0.31
## Explained Common Variance of the general factor = 0.74
##
## The degrees of freedom are -2 and the fit is 0
## The number of observations was 2800 with Chi Square = 0 with prob < NA
## The root mean square of the residuals is 0
## The df corrected root mean square of the residuals is NA
##
## Compare this with the adequacy of just a general factor and no group factors
## The degrees of freedom for just the general factor are 5 and the fit is 0.31
## The number of observations was 2800 with Chi Square = 858.38 with prob < 2.7e-183
## The root mean square of the residuals is 0.12
## The df corrected root mean square of the residuals is 0.17
##
## RMSEA index = 0.247 and the 10 % confidence intervals are 0.233 0.261
## BIC = 818.69
##
## Measures of factor score adequacy
## g F1* F2* F3*
## Correlation of scores with factors 0.87 0.75 0.07 0.25
## Multiple R square of scores with factors 0.76 0.57 0.00 0.06
## Minimum correlation of factor score estimates 0.53 0.13 -0.99 -0.87
##
## Total, General and Subset omega for each subset
## g F1* F2* F3*
## Omega total for total scores and subscales 0.85 0.85 NA 0.35
## Omega general for total scores and subscales 0.73 0.69 NA 0.33
## Omega group for total scores and subscales 0.12 0.16 NA 0.02Typically from this analysis we would report Omega Hierarchical = \(\omega_{h}\) = .73
However, one should take care what the underlying CFA model is that is being used (see Savalei & Reis, 2019). The diagram shows the model that was used by default (which actually negative degrees of freedom).
Using the MBESS package
This package gives MacDonald’s omega with confidence intervals) (Note that this approach uses bootstrapping so it takes a while)
##
## Attaching package: 'MBESS'## The following object is masked from 'package:psych':
##
## cor2covMBESS::ci.reliability(data=neur,
type="omega",
interval.type="perc",
B = 100) #typically this would be higher, default is 1000## $est
## [1] 0.8133792
##
## $se
## [1] 0.005609583
##
## $ci.lower
## [1] 0.7982819
##
## $ci.upper
## [1] 0.8237233
##
## $conf.level
## [1] 0.95
##
## $type
## [1] "omega"
##
## $interval.type
## [1] "percentile bootstrap"Typically from this analysis we would report \(\omega_{u}\) = 0.81 with CI[.80,.83]
However, one should take care what the underlying CFA model is that is being used (see Savalei & Reis, 2019). The diagram shows the model that was used by default.
Using lavaan and semTools
## This is lavaan 0.6-16
## lavaan is FREE software! Please report any bugs.##
## Attaching package: 'lavaan'## The following object is masked from 'package:MBESS':
##
## cor2cov## The following object is masked from 'package:psych':
##
## cor2cov## ## ################################################################################# This is semTools 0.5-6## All users of R (or SEM) are invited to submit functions or ideas for functions.## #################################################################################
## Attaching package: 'semTools'## The following object is masked from 'package:readr':
##
## clipboard## The following objects are masked from 'package:psych':
##
## reliability, skew#specify the one factor model
mod1f <- ' #start model
neurotic =~ N1 + N2 + N3 + N4 + N5
' #end model
#fit the model
fit1f <- lavaan::cfa(mod1f, data=neur,
std.lv=T, missing='direct', estimator='MLR')
summary(fit1f)## lavaan 0.6.16 ended normally after 24 iterations
##
## Estimator ML
## Optimization method NLMINB
## Number of model parameters 15
##
## Number of observations 2800
## Number of missing patterns 11
##
## Model Test User Model:
## Standard Scaled
## Test Statistic 372.501 322.672
## Degrees of freedom 5 5
## P-value (Chi-square) 0.000 0.000
## Scaling correction factor 1.154
## Yuan-Bentler correction (Mplus variant)
##
## Parameter Estimates:
##
## Standard errors Sandwich
## Information bread Observed
## Observed information based on Hessian
##
## Latent Variables:
## Estimate Std.Err z-value P(>|z|)
## neurotic =~
## N1 1.284 0.025 51.830 0.000
## N2 1.227 0.024 50.831 0.000
## N3 1.151 0.027 42.222 0.000
## N4 0.869 0.032 26.828 0.000
## N5 0.811 0.033 24.493 0.000
##
## Intercepts:
## Estimate Std.Err z-value P(>|z|)
## .N1 2.932 0.030 98.558 0.000
## .N2 3.508 0.029 121.478 0.000
## .N3 3.217 0.030 106.137 0.000
## .N4 3.185 0.030 106.886 0.000
## .N5 2.969 0.031 96.676 0.000
## neurotic 0.000
##
## Variances:
## Estimate Std.Err z-value P(>|z|)
## .N1 0.818 0.047 17.284 0.000
## .N2 0.821 0.045 18.271 0.000
## .N3 1.242 0.051 24.204 0.000
## .N4 1.707 0.054 31.557 0.000
## .N5 1.962 0.056 34.977 0.000
## neurotic 1.000
## neurotic
## alpha 0.8138131
## omega 0.8133792
## omega2 0.8133792
## omega3 0.8005117
## avevar 0.4736407The results listed in the omega and omega2 rows give the \(\omega_{u}\) estimate in which the denominator equals the model-implied variance of the total score, and the results listed in the omega3 row give the estimate in which the denominator equals the observed, sample variance of the total score.
Summary
We have demonstrated possibility for calculating a variety of different conceptions of reliability: alternative forms, test-retest, and internal consistency, Cronbach’s alpha and Omega. All are useful and also have limitations. Choose carefully per the specifics of the situation and the research goals.
Thank You For Playing!