Unexpectedly high S estimate in D-efficient design

[Jbenson]

Hi all! I'm looking for some insight into a pair of NGene designs created to investigate how 911 providers (EMTs) triage injured patients, using two DCEs. I have two choice scenarios: a motor vehicle accident, and a fall from height. Attributes and levels were determined from literature and existing EMS protocol, and were validated in focus groups-- the attributes are elements of an accident (fall height, crash speed, patient risk factors, hospital travel time, etc.). Participants choose between two alternatives (injured patients, in this case), or a null alternative. Participants are asked to choose which patient they would most consider transporting to a more capable hospital, at the cost of added travel time.

The attributes and levels are here:
https://i.imgur.com/yQuQduP.png

Upon creating the designs in NGene, I get very reasonable output for the Motor Vehicle set, but extremely high S estimate in the Falls set. I'm new to NGene and the choice modelling field, and would love any input you all have in terms of troubleshooting this design.

The design and output for the "Motor Vehicle" set is:

Code: Select all

Design   Choice situation   patient1.age   patient1.speed   patient1.rtbi   patient1.bleed   patient1.comorbid   patient1.preg   patient1.tt   patient1.coltype   patient2.age   patient2.speed   patient2.rtbi   patient2.bleed   patient2.comorbid   patient2.preg   patient2.tt   patient2.coltype   
1   1   70   20   0   1   0   3   80   3   1   60   1   0   2   1   80   0   
1   2   1   60   0   0   0   2   30   1   70   20   1   1   2   0   50   1   
1   3   18   40   1   1   1   2   80   0   55   10   0   0   1   1   20   3   
1   4   55   20   1   0   1   1   30   1   70   10   1   1   1   2   20   2   
1   5   35   60   1   0   2   3   50   1   35   60   0   1   0   0   30   2   
1   6   70   20   0   0   1   0   50   2   6   60   1   1   1   3   80   1   
1   7   6   40   1   0   0   0   50   0   55   10   0   1   2   3   50   3   
1   8   1   60   0   1   2   1   80   2   18   40   1   0   0   3   30   2   
1   9   6   10   0   1   1   0   30   3   1   20   1   0   1   2   80   0   
1   10   35   10   0   1   2   3   20   0   35   20   0   0   0   0   50   3   
1   11   18   40   1   0   2   1   20   3   18   40   0   1   0   1   30   0   
1   12   55   10   1   1   0   2   20   2   6   40   0   0   2   2   20   1   
||||||||||
Design
;alts = Patient1*, Patient2*, Patient3
;rows = 12
;eff = (mnl,d)
; con
;model:
U(Patient1) = b1[.8308619] * age[1,6,18,35,55,70] + b2[1.374463] * speed[10,20,40,60] + b3[1.223756] * rtbi[0,1] + b4[1.16463] * bleed[0,1] + b5[.441297] * comorbid[0,1,2] + b6[.5994627] * preg[0,1,2,3] + b7[-.2524287] * tt[20,30,50,80] + b8[-.8028168] * coltype[0,1,2,3]  /
U(Patient2) = b1 * age + b2 * speed + b3 * rtbi + b4 * bleed + b5 * comorbid + b6 * preg + b7 * tt + b8 * coltype
$


This design has the following MNL statistics:
D error: 0.0523
A error: 0.7872
B estimate: 0.0005
S estimate: 6.3677

The design which is giving me trouble, the "Falls" scenario, has the following design and output:

Code: Select all

Design   Choice situation   patient1.age   patient1.hghfall   patient1.rtbi   patient1.bleed   patient1.comorbid   patient1.preg   patient1.tt   patient2.age   patient2.hghfall   patient2.rtbi   patient2.bleed   patient2.comorbid   patient2.preg   patient2.tt   
1   1   1   0   1   0   0   0   80   6   5   0   0   1   1   80   
1   2   70   10   1   1   2   3   20   1   20   1   1   0   0   20   
1   3   35   5   1   0   1   1   80   18   20   0   1   0   3   20   
1   4   35   0   0   1   1   2   50   55   10   1   0   2   2   30   
1   5   55   20   1   0   0   0   20   6   0   0   1   0   0   80   
1   6   70   20   0   1   2   3   30   70   10   1   1   2   3   30   
1   7   1   5   0   0   0   1   50   55   5   0   1   1   1   80   
1   8   55   10   1   1   2   3   30   70   10   1   1   2   2   30   
1   9   6   0   0   0   0   1   80   18   0   0   0   0   0   50   
1   10   6   5   0   1   1   2   50   35   5   1   0   1   2   50   
1   11   18   20   0   1   2   0   20   1   20   1   0   2   3   20   
1   12   18   10   1   0   1   2   30   35   0   0   0   1   1   50   
||||||||||
Design
;alts = Patient1*, Patient2*, Patient3
;rows = 12
;eff = (mnl,d)
; con
;model:
U(Patient1) = b1[0.0637] * age[1,6,18,35,55,70] +  b2[0.96057] * hghfall[0,5,10,20]+ b3[.8707] * rtbi[0,1] + b4[1.20635] * bleed[0,1] + b5[.956594] * comorbid[0,1,2] + b6[.4892] * preg[0,1,2,3] + b7[ -1.137] * tt[20,30,50,80]  /
U(Patient2) = b1 * age + b2 * hghfall + b3 * rtbi + b4 * bleed + b5 * comorbid + b6 * preg + b7 * tt
$


This design has the following MNL statistics:
D error: 0.3690
A error: 35.5435
B estimate: 8.0400
S estimate: 435.7778

Is my model too complicated? Or are the priors not accurate enough to provide a good design? Please let me know if you need other information! Thank you for any insight you can provide.

[Michiel Bliemer]

Your model and priors need revision.

1. If Patient3 is an opt-out alternative, then you need to add a constant (e.g. b0) to the utility functions of both Patient1 and Patient2, or you need to add a constant to the utility function of Patient3. Without this constant the model does not make sense. If Patient3 is a status-quo alternative, then you need to define this alternative with proper values for each attribute. Adding a constant will affect all other parameter estimates, and hence the priors.

2. Where do your priors come from? Are they estimated from a pilot study? If not, then they should be set very carefully. For example, b1 with a value of 0.83 is very large if the attribute ranges from 1 to 70, this makes age an extremely dominant attribute. The same for speed, this prior is far too large. Please make sure that your priors come from a pilot study or are very carefully chosen based on literature studies and expert judgement. If you have no information about the priors, please set them very close to zero, e.g. -0.000001 to indicate a negative value and 0.000001 to indicate a positive value (the sign of the priors are used to remove dominance in choice tasks, via Patient1* and Patient2*).

Best wishes,
Michiel