STATE OF CALIFORNIADEPARTMENT OF MOTOR VEHICLES
 
 
 
 
 
California’s 3‐ Tier Pilot Process Analysis  
Appendix 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
March 2010 
 
 
 
 
 
Author:  Bayliss J.  Camp,  Ph. D.
 
Research and Development Branch 
©  California Department of Motor Vehicles,  2010           Licensing Operations Division 
 
RSS‐ 09‐ 229    
REPORT DOCUMENTATION PAGE 
Form Approved
OMB No. 0704- 0188 
Public reporting burden for this collection of information is estimated to average 1 hour per response, including the time for reviewing instructions, searching existing data sources, gathering and maintaining the data needed, and completing and reviewing the collection of information. Send comments regarding this burden estimate or any other aspect of this collection of information, including suggestions for reducing this burden, to Washington Headquarters Services, Directorate for Information Operations and Reports, 1215 Jefferson Davis Highway, Suite 1204, Arlington, VA 22202- 4302, and to the Office of Management and Budget, Paperwork Reduction Project ( 0704- 0188), Washington, DC 20503.
 
1. AGENCY USE ONLY ( Leave blank)
 
2. REPORT DATE
March 2010 
3. REPORT TYPE AND DATES COVERED
Final Report 
4. TITLE AND SUBTITLE
California’s 3‐ Tier Pilot Process Analysis Appendix 
6. AUTHOR( S)
Bayliss J.  Camp,  Ph. D.
 
5. FUNDING NUMBERS
 
7. PERFORMING ORGANIZATION NAME( S) AND ADDRESS( ES)
California Department of Motor Vehicles 
Research and Development Branch 
P. O.  Box 932382 
Sacramento,  CA 94232‐ 3820 
8. PERFORMING ORGANIZATION
REPORT NUMBER
CAL‐ DMV‐ RSS‐ 09‐ 229 
 
9. SPONSORING/ MONITORING AGENCY NAME( S) AND ADDRESS( ES)
Office of Traffic Safety;  2208 Kausen Drive.,  Suite 300; Elk Grove,  CA 95758‐  7115 
10. SPONSORING/ MONITORING
AGENCY REPORT NUMBER
      
11. SUPPLEMENTARY NOTES
 
12a. DISTRIBUTION/ AVAILABILITY STATEMENT
12b. DISTRIBUTION CODE
13. ABSTRACT ( Maximum 200 words)
This report presents the descriptive and predictive analyses of:  ( i)  the results of a survey ( n =  130)  conducted of California Department of Motor Vehicles ( CA DMV)  Field Office and Driver Safety Branch staff and managers participating in the 3‐ Tier Pilot project;  ( ii)  interviews ( n =  49)  conducted of CA DMV Field Office and Driver Safety Branch staff and managers participating in the 3‐ Tier Pilot;  ( iii)  the results of a survey ( n =  5,777)  conducted of customers participating in the 3‐ Tier Pilot;  and ( iv)  the robustness of the Pelli‐ Robson contrast sensitivity chart by location and technician ( n =  9,934).  These analyses form the primary evidentiary basis for some of the findings and conclusions presented in the 3‐ Tier Pilot Process Analysis Report.
 
15. NUMBER OF PAGES
             204 
14. SUBJECT TERMS
3‐ Tier Pilot,  Driver Competency,  License Renewals,  Licensing Tests,  Licensing Assessment System,  Functionally Limited Drivers 
16. PRICE CODE
 
17. SECURITY CLASSIFICATION
OF REPORT
Unclassified 
18. SECURITY CLASSIFICATION
OF THIS PAGE
Unclassified 
19. SECURITY CLASSIFICATION
OF ABSTRACT
Unclassified 
20. LIMITATION OF ABSTRACT
None 
NSN 7540- 01- 280- 5500 Standard Form 298 ( 2- 89)
Prescribed by ANSI Std. Z39- 18
298- 102
 
  THE 3‐ TIER PROCESS REPORT APPENDIX 
 
i 
PREFACE 
This report is issued as an internal monograph of the California Department of Motor Vehicles Research and Development Branch r ther than as an official report of the State of California.  The opinions,  findings,  and conclusions expressed in this report are those of the author and not necessarily those of the state of California,  the California Office of Traffic Safety,  or the National Highway Traffic Safety Administration.
 
  THE 3‐ TIER PROCESS REPORT APPENDIX 
 
ii 
ACKNOWLEDGEMENTS 
This project was made possible with the support of the California Office of Traffic Safety and the National Highway Traffic Saf ty Administration ( OTS Grant # TR0703).
 
 
This study was conducted under the general direction of David DeYoung,  Chief of the Research and Development Branch of the California Department of Motor Vehicles,  and under the supervision of Leonard Marowitz,  Manager of the Alcohol and Drug Projects Section.
  
 
The author would like to thank Debby Atkinson,  retired annuitant;  Gwen Bridges,  Manager in Field Operations;  and E.  Torricel Taylor,  Manager in Administrative Services,  for their comments and critiques on previous drafts of the constituent modules of this appendix.
  
 
The author would also like to thank Doug Rickard,  Douglas Luong,  and Debbie McKenzie for their assistance at various stages of this project.  Their expertise was particularly helpful in data collection,  database management,  and preparing the manuscript for publication.
  
  THE 3‐ TIER PROCESS REPORT APPENDIX 
 
iii 
TABLE OF CONTENTS 
 
PAGE 
PREFACE........................................................................................................................ .............. i
ACKNOWLEDGEMENTS.......................................................................................................... ii
INTRODUCTION................................................................................................................... .... 1
MODULE # 1:   ANALYSIS OF THE STAFF SURVEY............................................................. 2
Introduction................................................................................................................... .......... 2
Methods........................................................................................................................ ............ 3
Sampling Procedure............................................................................................................ 3
Analysis Techniques Used.................................................................................................. 3
Limitations of These Data................................................................................................... 6
Results........................................................................................................................ ............... 7
Suggested Revisions to Forms............................................................................................ 7
Suggested Revisions to Process........................................................................................ 10
Views on 3‐ Tier’s Potential Impact on Customer Service............................................ 17
Staff Reports on Customer Feedback on 3‐ Tier............................................................. 22
Staff Views on the Fairness of 3‐ Tier............................................................................... 24
Staff Feedback on Training............................................................................................... 29
Conclusions.................................................................................................................... ........ 35
MODULE # 2:   ANALYSIS OF THE STAFF INTERVIEWS.................................................. 39
Introduction................................................................................................................... ........ 39
Method......................................................................................................................... .......... 40
Sampling Frame................................................................................................................. 40
Analysis Techniques Used................................................................................................ 41
Limitations of These Data................................................................................................. 43
Results........................................................................................................................ ............. 45
Project Goals.................................................................................................................. .... 45
3‐ Tier Process Elements:  Memory Recall Exercise........................................................ 50
Variation in implementation........................................................................................ 50
Variation in understanding.......................................................................................... 52
3‐ Tier Process Elements:  Physical Observation............................................................. 55
Variation in implementation........................................................................................ 56
Variation in understanding.......................................................................................... 56
  THE 3‐ TIER PROCESS REPORT APPENDIX 
 
iv 
TABLE OF CONTENTS ( continued)
 
 
PAGE 
3‐ Tier Process Elements:  Snellen Visual Acuity and Pelli‐ Robson Contrast Sensitivity Tests.............................................................................................. ................... 59
Variation in implementation........................................................................................ 59
Variation in understanding.......................................................................................... 61
3‐ Tier Process Elements:  The Perceptual Response Test ( PRT)................................... 63
Variation in implementation........................................................................................ 64
Variation in understanding.......................................................................................... 65
3‐ Tier Process Elements:  The Educational Intervention............................................... 72
Variation in implementation........................................................................................ 73
Variation in understanding.......................................................................................... 75
3‐ Tier Process Elements:  Drive Tests............................................................................... 77
Variation in implementation........................................................................................ 78
Variation in understanding.......................................................................................... 79
Sources of Variation in Understanding and Implementation of 3‐ Tier Process Elements.......................................................................................................... ................... 87
Process elements............................................................................................................ 87
Training....................................................................................................................... ... 88
Goal tension:  time vs.  personal attention................................................................. 100
Goal tension:  discrimination vs.  traffic safety......................................................... 107
Goal tension:  testing as hurdle vs.  testing for competency................................... 114
Changes to Intra‐ Office and Inter‐ Division Cooperation and Coordination.......... 119
Intra‐ office changes to cooperation and coordination............................................ 119
Inter‐ division changes to communication and coordination................................ 122
Conclusions.................................................................................................................... ...... 128
Implications for Analysis of Outcome Data................................................................. 128
Implications for Potential Implementation.................................................................. 130
Implications for Future Research and Development Branch Projects...................... 132
MODULE # 3:   THE CUSTOMER SURVEY.......................................................................... 134
Introduction................................................................................................................... ...... 134
Method......................................................................................................................... ........ 135
Background..................................................................................................................... . 135
Variables...................................................................................................................... ..... 136 THE 3‐ TIER PROCESS REPORT APPENDIX 
 
v 
TABLE OF CONTENTS ( continued)
 
 
PAGE 
Sampling Procedure........................................................................................................ 138
Limitations of These Data............................................................................................... 139
Analysis Techniques Used.............................................................................................. 140
Results........................................................................................................................ ........... 142
Descriptive Statistics........................................................................................................ 142
Predictive Analysis.......................................................................................................... 144
“ The time I spent during my office visit was reasonable”..................................... 144
3‐ Tier process:  easy to follow,  easy to understand?................................................ 146
“ The DMV office staff treated me with courtesy and respect”............................. 146
“ In my opinion,  this new assessment system is fair to all customers”................ 146
“ I am confident that this new assessment system will improve driver safety”..................................................... ...................................................................... 147
Potential Sources of Bias to the Predictive Models..................................................... 147
Conclusions.................................................................................................................... ...... 148
MODULE # 4:   ROBUSTNESS OF THE PELLI‐ ROBSON CONTRAST SENSITIVITY CHART BY LOCATION AND TECHNICIAN.......................................... 151
Introduction................................................................................................................... ...... 151
Background..................................................................................................................... ..... 151
Method......................................................................................................................... ........ 154
Matching and Merging of Datasets,  Data Cleaning.................................................... 154
Procedure for Quantifying Potential Variation Association with Technician........ 159
Variables and Analysis Techniques Used.................................................................... 162
Limitations of These Data............................................................................................... 164
Results........................................................................................................................ ........... 166
Descriptive Statistics........................................................................................................ 166
Predictive Analysis.......................................................................................................... 168
Conclusions.................................................................................................................... ...... 171
REFERENCES..................................................................................................................... ..... 178
SUB APPENDIXES................................................................................................................. 183
Sub‐ Appendix A:  Survey Instrument............................................................................... 183
Sub‐ Appendix B:  Interview Protocol for the 3‐ Tier Pilot Process Analysis................ 187
MVFR/ SMVT Questions.................................................................................................. 189 THE 3‐ TIER PROCESS REPORT APPENDIX 
 
vi 
TABLE OF CONTENTS ( continued)
 
 
PAGE 
LRE Questions.................................................................................................................. 191
Hearing Officer Questions.............................................................................................. 194
3‐ Tier Manager I and Administrative Manager Questions........................................ 197
Upper Management ( Including Office Managers)  and Headquarters Coordinating Personnel Questions............................................................................. . 200
Sub‐ Appendix C:  Scope of Driving Questions Used for Drive‐ Test Counseling  During the 3‐ Tier Pilot........................................................................................................ 202
Sub‐ Appendix D:  Customer Survey Instrument............................................................. 203
 
LIST OF TABLES 
 
NUMBER            PAGE 
M1.1      Descriptive Statistics of Respondents to the 3‐ Tier Staff Survey........................... 4
M1.2      Suggestions for Revisions to Forms............................................................................ 8
M1.3      Suggestions for Revisions to Process........................................................................ 12
M1.4A   Staff and Management Views of 3‐ Tier’s Impact on Customer Service,  by Office and Office Size.................................................................................................. 18
M1.4B   Staff and Management Views of 3‐ Tier’s Impact on Customer Service,  by Job Category............................................................................................................... . 19
M1.5      Staff and Management Views on Potential Impact of 3‐ Tier on Customer Service....................................................................................................... ................... 20
M1.6      Staff and Management Reports of Customer Feedback on 3‐ Tier....................... 23
M1.7A   Staff and Management Views of the Fairness of the 3‐ Tier Process,  by Office and Office Size.................................................................................................. 25
M1.7B   Staff and Management Views of the Fairness of the 3‐ Tier Process,  by Job Category............................................................................................................... ........ 26
M1.8      Staff and Management Concerns Regarding the Fairness of the 3‐ Tier Process................................................................................................................... ....... 28
M1.9A   Staff and Management Views of the Usefulness of Training,  by Office and Office Size..................................................................................................... ....... 30
M1.9B   Staff and Management Views of the Usefulness of Training,  by Job Category............................................................................................................... ........ 30 THE 3‐ TIER PROCESS REPORT APPENDIX 
 
vii 
TABLE OF CONTENTS ( continued)
 
 
LIST OF TABLES ( continued)
 
 
NUMBER             PAGE 
M1.10    Staff and Management Concerns Regarding the Usefulness of Training........... 31
M1.11A Staff and Management Self‐ Reported Speed of Learning 3‐ Tier Process,  by Office and Office Size............................................................................................ 33
M1.11B Staff and Management Self‐ Reported Speed of Learning 3‐ Tier Process,  by Job Category........................................................................................................... 33
M1.12A Staff and Management Frequency of Questions About 3‐ Tier,  by Office and Office Size..................................................................................................... ....... 34
M1.12B Staff and Management Frequency of Questions About 3‐ Tier,  by Job Category............................................................................................................... ........ 35
M3.1      Descriptive Statistics ( Unweighted)  on 3‐ Tier Customer Survey Respondents,  Survey Non‐ Respondents,  and Unsampled Customers............. 143
M3.2      Descriptive Statistics ( Unweighted)  on Customer Attitudes Towards the 3‐ Tier Process............................................................................................................. 143
M3.3      Binary Logistic Regression Results;  Predicted Odds Ratios of Answering “ Disagree”  or “ Disagree Strongly”  for Six Questions on Attitudes Towards 3‐ Tier........................................................................................................... 145
M4.1      Failure/ Passage Rates of DMV Staff Assessing Vision Using Pelli‐ Robson Contrast Sensitivity Charts,  by Office and Employee,  with Number of Outlier Employees per Office.................................................................................. 161
M4.2      Failure/ Passage Rates on the Pelli‐ Robson Contrast Sensitivity Assessment,  by Office and Chart............................................................................ 163
M4.3      Descriptive Statistics............................................................................................... . 167
M4.4      Hierarchical Logistic Regression,  Predicting Odds Ratios ( Expβ)  of 3‐ Tier Customer Failure ( Somewhat or Extreme Fail)  on the Pelli‐ Robson Contrast Sensitivity Chart........................................................................................ 169   THE 3‐ TIER PROCESS REPORT APPENDIX 
 
1 
INTRODUCTION 
In accordance with California Vehicle Code Section 1659.9,  the California Department of Motor Vehicles ( CA DMV)  recently ( 5/ 1/ 07‐ 12/ 31/ 07)  conducted a field pilot of several new driver competency assessment tools that have shown promise for predicting traffic safet  outcomes in prior studies ( Hennessy &  Janke,  2005).  This pilot took place in six DMV field offices as well as one Driver Safety office in Northern California.  The pilot study and its associated outcome and process reports serve two closely related purposes.  The first purpose is to use the data collected during the pilot period to determine the large‐ scale predictive validity of these new assessment tools for reducing the crash risk and violation rates of California drivers.  This outcome report is scheduled for publication in 2011.  The second purpose of the 3‐ Tier Pilot was to test the feasibility of implementing,  in a production setting,  these new assessment tools.  In order to determine the feasibility of implementation,  the Research and Development Branch of CA DMV has undertaken the task of producing a process report,  of which this document serves as the appendix.
  
 
This appendix contains four modules.  Module # 1 presents the descriptive analysis of the results of a survey ( n =  130)  conducted of CA DMV Field Office and Driver Safety Branch staff participating in the 3‐ Tier Pilot project.  Module # 2 presents the descriptive analysis of interviews ( n =  49)  conducted of CA DMV Field Office and Driver Safety Branch staff participating in the 3‐ Tier Pilot.  Module # 3 presents the descriptive and predictive analyses of results of a survey ( n =  5,777)  conducted of customers participating in the 3‐ tier Pilot.  Module # 4 presents a hierarchical logistic regression analysis of individual outcomes on the Pelli‐ Robson contrast sensitivity assessment,  as predicted by chart location,  technician,  customer age,  and possession of a previously‐ identified vision condition ( n =  9,934).  Together,  these analyses form the evidentiary basis for many of the findings and conclusions presented in the 3‐ Tier Pilot Process Analysis Report.
  
   
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
MODULE # 1:  ANALYSIS OF THE STAFF SURVEY Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
MODULE # 1:   ANALYSIS OF THE STAFF SURVEY  
Introduction 
At the termination of the field office portion of the 3‐ Tier Pilot,  the Research and Development Branch ( R& D)  of California’s Department of Motor Vehicles ( CA DMV)  distributed surveys to the staff and managers who implemented the project.  The collection of data through this survey served four goals.  Explicitly,  the survey goals included:  ( a)  gathering suggestions regarding revisions and improvements to the 3‐ Tier process itself,  ( b)  gauging CA DMV staff perceptions of 3‐ Tier’s impact on customer service,  and ( c)  identifying potential areas of improvement for training.  In addition,  the distribution of this survey was implicitly intended to improve communication flows between R& D and both Field Operations Division and Driver Safety Branch.  Included in this report are a discussion of the survey method and a summation of the major findings.
  
 
The substantive suggestions that staff and managers had for revisions and improvements to the 3‐ Tier process tended to cluster around two common concerns:  first,  ensuring the universality of any assessment tests,  or in other words,  requiring that all driver license renewal customers be subject to any new driver competency assessments.  Secondly,  staff made suggestions regarding how to increase the speed of customer processing times,  and so to ( ideally)  reduce customer wait times in the field offices.  Respondents to this survey tended to report either a neutral or mixed ( both positive and negative)  impact of 3‐ Tier on customer service.  Negative impacts on customer service were generally identified with either ( a)  the increase in average customer processing time associated with 3‐ Tier,  and consequently to potentially increased wait times in the field offices,  or ( b)  the concern that 3‐ Tier did not apply universally to all customers.  Specific concerns raised in relation to this latter point included the view that the 3‐ Tier process applied only ( or disproportionately)  to senior citizens and,  secondly,  did not apply to customers renewing their licenses through the use of a language other than English.  Positive impacts on customer service were generally identified with either ( a)  an increase in the amount of individual attention given to customers,  or ( b)  the identification of 3‐ Tier with an improvement in traffic safety.  While there was substantial criticism regarding training,  it was also clear that training was largely effective:  Respondents reported that it took a relatively short 
2
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
3 
period of time ( less than a month in most cases)  to become comfortable with 3‐ Tier procedures.  Moreover,  they reported having relatively few questions about the process,  post‐ training.  That said,  the qualitative comments reported here do reveal isolated instances of deviation from standard procedures,  as presented both in training,  and in post‐ training quality control.
  
Methods 
Sampling Procedure 
The author and three colleagues in R& D distributed the surveys to all six of the 3‐ Tier Pilot field offices and to the Sacramento Driver Safety office ( DSO)  during the Wednesday morning staff meeting on 10/ 31/ 07 and 11/ 7/ 07.  On the day the surveys were distributed,  the staff of each office was presented with an engraved,  framed certificate in recognition of that office’s participation in the program.  These certificates were signed by the deputy directors of the two DMV divisions involved with the pilot:  Field Operations and Licensing Operations.  In addition,  R& D provided those present with food and drink ( muffins,  bagels,  and juice)  as a small token of appreciation.  The surveys were anonymous and participation in the survey was voluntary.  See Sub‐ Appendix A for the actual text of the survey.
  
 
Although the sampling procedure was technically of a convenient nature,  essentially the entire population of interest was surveyed.  Almost no respondents declined to participate,  though a few persons were absent,  due either to vacation or illness.  The final N was 130.  See Table M1.1 for summary statistics of the sample population.
  
Analysis Techniques Used 
Approximately half of the questions involved closed‐ ended Likert‐ type scales,  with a range of responses from which the respondent had to pick one.  The data produced from these questions are implicitly quantitative;  hence much of the analysis involves simple descriptive statistics and cross‐ tabulations.  Given the size and nature of the sample,  however,  in most cases statistical tests of significance are of only marginal utility.
  
  Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
Other questions asked for open‐ ended,  more qualitative answers;  many of these were follow‐ ups to a first,  forced‐ choice half of the question.  Qualitative responses were analyzed through the use of open coding procedures.  On most questions,  there was substantial fall‐ off in response rate between the quantitative and qualitative halves of questions.  While nearly all respondents answered every forced‐ choice question,  between one‐ third and one‐ half of respondents declined to fill out any given open‐ ended question.  In the analyses presented in this paper,  all figures are presented with the question‐ specific response rate;  thus,  percentages are of those respondents who responded to that question ( or,  in the case of two‐ part questions,  the relevant half).
  
 
Table M1.1:  Descriptive Statistics of Respondents to the 3‐ Tier Staff Survey 
Office 
N (%)
 
Job category 
N (%)
 
Reported daily #  of customers 
N (%)
 
Carmichael  
29 ( 21.5%)
 
MVFR 
69 ( 53.1%)
 
1‐ 2 customers
per day 
45 ( 35.7%)
 
Fairfield  
10 ( 7.4%)
 
SMVT 
8 ( 6.2%)
 
3 or more perday 
81 ( 64.3%)
 
Folsom  
17 ( 12.6%)
 
LRE 
21 ( 16.2%)
 
 
 
Sacramento ‐ Broadway  
30 ( 22.2%)
 
3‐ Tier Manager Ia 
6 ( 4.8%)
 
 
 
Sacramento ‐  South  
16 ( 11.9%)
 
Manager ( other)
 
14 ( 11%)
 
 
 
Vacaville  
16 ( 11.9%)
 
Hearing Officer 
10 ( 7.7%)
 
 
 
DSO 
11 ( 8.1%)
 
Other/ decline to stateb 
2 ( 1.5%)
 
 
 
Unknown 
1 (< 1%)
 
 
 
 
 
Total 
130 
 
130 
 
126 
a Two respondents who claimed to be 3‐ Tier Manager Is were re‐ coded as Managers ( other).  The number of customers these respondents reported seeing was abnormally low:  1‐ 2 per day versus a mean of 8 customers per day for other 3‐ Tier Manager Is.  Because of the small sample size,  this affected some of the reported cross‐ tabulations,  notably in TableM1.4B ( Staff Views of 3‐ Tier’s Impact on Customer Service,  by Job Category).
  
b One of these was a Control Cashier.
  
 
Respondents who participated in this survey varied substantially in the nature and depth of their participation in the 3‐ Tier Pilot.  Those holding different job categories,  for instance,  had very different duties when it came to processing 3‐ Tier customers.  A Motor Vehicle Field Representative ( MVFR)  or a Senior Motor Vehicle Technician ( SMVT)  was responsible for administering the Tier 1 assessment tests ( a simple memory recall exercise,  a contrast sensitivity vision chart,  and a structured observation of the customer’s potential physical limitations).  By contrast,  the 3‐ Tier Manager I was responsible for administering some of the Tier 2 elements of the process ( in particular,  the educational intervention given to some customers).  Office Managers,  however,  
4
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
5 
might only rarely have direct contact with 3‐ Tier customers.  Thus,  in the analyses presented below,  we differentiate between six job categories:  MVFRs/ SMVTs ( whose responsibilities vis‐ à‐ vis 3‐ Tier were substantially the same),  LREs,  Driver Safety Hearing Officers,  3‐ Tier Manager Is,  and Managers ( other).  This last category includes both Office Managers and Administrative Managers.
  
 
Participation also varied within job category.  For instance,  the majority of the MVFRs who participated in the pilot were “ cross‐ trained.”   They might process a basic driver license renewal with one customer,  followed by a vehicle registration with the next customer,  following which they might assist a customer seeking to obtain a handicapped sticker for their vehicle ( and so on,  as contingent on the specific types of transactions in which the individual MVFR happens to have training).  Depending on a number of factors,  any given MVFR might see very few,  or a great many,  3‐ Tier customers during the course of their work.  Similarly,  while only one of the LREs in any given office was responsible for administering drive tests for 3‐ Tier Pilot customers,  other LREs in the office might,  as part of their suite of duties,  intermittently work at a window,  and thus process customers in a manner similar to an MVFR.
  
 
This variation in participation is a key component to understanding the results of this survey for at least two reasons.  First,  participation in different components of the pilot resulted in different kinds of insights,  suggestions,  and critiques.  Respondents typically wrote about those aspects of the process with which they were most familiar.  Secondly,  however,  the depth of one’s participation in the pilot,  as measured by the frequency with which one had to implement 3‐ Tier procedures during a customer transaction varied substantially.  This variation also serves as a marker of participatory familiarity with the process,  as distinct from observations of how the implementation of the 3‐ Tier Pilot affected the work of others.  Given this variation in participation,  in some of the cross‐ tabulations presented below the results are shown grouped according to the self‐ reported average number of customers seen over the course of a typical day.  For this purpose,  responses to question # 2 were collapsed from five categories to two:  one to two customers per day ( n =  45,  34.6%  of the total sample),  and three or more customers per day ( n =  81,  or 62.3%  of the total sample).  In tabulations not shown here ( but available from the author upon request)  additional analyses were run which subdivided responses into three categories instead of two ( one to two customers per day,  three to six customers per day,  and seven or more customers per day):  no substantial differences    Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
from the results presented here were noted.  While this grouping of answers by self‐ reported customer load overlaps other variables— in particular job category1— the overlap is only partial,  and this particular measure illuminates certain patterns in the data which would otherwise remain obscure.
  
Limitations of These Data 
These data are,  of necessity,  limited in scope and utility.  Certain caveats should thus be kept in mind regarding interpretation.  Some of the questions ask respondents to report on matters of which they had only partial knowledge.  For instance,  on question # 5 ( regarding customer service),  a substantial number of respondents interpreted this question in reference to what they perceived to be the 3‐ Tier Pilot’s impact on customer wait times.  As noted in the main body of the project process analysis,  the project’s actual,  as opposed to perceived,  impact of 3‐ Tier on office wait times is difficult to estimate precisely.  That said,  the perceived impact of the pilot on customer wait times is critical to the success of implementation of any components of the pilot in the future.  California DMV is committed to reducing,  as much as possible,  the amount of time customers spend in field offices,  and any new procedures incorporated into basic field office practice must take that priority into account.
  
 
In addition to acknowledging the difficulties in interpreting respondent perceptions of 3‐ Tier,  there is the additional difficulty of interpreting respondent reports of second‐ hand,  hearsay,  knowledge.  Question # 6,  for instance,  asked the respondent to report any comments they heard from customers regarding the pilot.  In answering Question # 7— on how “ fair”  the respondent thought the process to be— a substantial number of staff replied in their qualitative comments referencing what they had heard from customers.  In module # 3 of this appendix,  the author analyzes customer responses to a short survey mailed out at the end of the project.  That module thus directly reports the nature and distribution of customer views on the 3‐ Tier Pilot.  The results presented here may partly tap some portion of customer concerns regarding the 3‐ Tier Pilot.  However,  the author would rather emphasize the degree to which these comments reveal the kinds of questions staff may expect to handle,  and thus the kinds of customer service 
1 For instance,  none of the Hearing Officers reported seeing more than two 3‐ Tier customers per day.  By contrast,  only 15%  of the MVFRs reported processing fewer than three customers per day.   
6
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
7 
dilemmas likely to arise should any portion of the 3‐ Tier process be implemented in the future.
  
 
Finally,  a word regarding the representativeness and generalizability of the survey sample.  Essentially everyone of interest ( all staff and managers that participated in the implementation of the 3‐ Tier Pilot)  was sampled,  and participated in the survey.  Hence,  we have a relatively complete picture of the views of those involved in the project,  at least as measured by the questions used here.  However,  if the 3‐ Tier process is implemented statewide,  we cannot assume that the staff of the seven ( six field and one Driver Safety)  offices included in the pilot are representative of the staff of DMV as a whole.  DMV field offices are categorized into size grades,  of which there are five,  largely based on average customer load.  No offices of Grade I or II ( the two smallest categories)  were included in the 3‐ Tier Pilot.  It also bears emphasizing that,  inasmuch as the staff understood that they were participating in a pilot project,  as opposed to adopting new and permanent additions to office procedures,  the results reported here must be taken in context.  Given that staff and managers knew that 3‐ Tier might or might not be implemented in the future,  their feedback during the pilot may differ in unknown ways from feedback given regarding a formally adopted change to DMV poli ies and procedures.
  
Results 
Suggested Revisions to Forms 
Approximately half ( 69/ 130)  of respondents had suggestions for revising the forms.  Among these,  there were essentially three categories of responses:  suggestions regarding the 3‐ Tier Driving Information survey ( 12 responses),  suggestions regarding the 3‐ Tier Tracking Sheet and/ or Tier 1 Score Sheet ( 35 responses),  and “ no suggestions”  ( i. e.,  the respondent answered that they thought the forms were fine,  or otherwise needed no changes;  this included 18 responses).  A few answers ( 5)  had to be re‐ coded as suggestions regarding the process,  as they did not refer to the paperwork per se.  Those are analyzed in a subsequent section,  and are not included here.  By the same token,  one answer to Question # 4 had to be re‐ coded as referring to forms and paperwork,  and is included here.  See Table M1.2 for a schematic summary of the   Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
qualitative responses to this question.  In response to this question,  there appears to be little,  if any,  variation by self‐ reported customer load,  nor by job category.
  
 
Table M1.2:  Suggestions for Revisions to Forms 
 
N of respondents ( by customer load)
 
Type of suggestion 
1‐ 2/  day 
> 2/  day 
Examples of commentsa 
“ None”
 
9 
9 
“ No —  forms were very basic and to the point.” “ Good.”
  
“ No –  I think forms were easy to complete.”
  
Survey‐ related 
2 
10b 
“ Make the questions on the survey clearer or understandable for the customer.”
  
“ Survey questions were phrased in a manner which was confusing to customers.”
  
“ Explain on the customer survey that all questions are not graded.”
 
Tracking sheet‐  or score sheet‐ related 
13 
22 
“ If it can all somehow be just one sheet it will be easier to process.”
  
“ Some redundancy.  You have to say that the customer accepted even when you have all their stuff written down.”
  
“ Eliminate the multiple response types and use only check‐ off boxes.  No circles,  no ones and zeros,  no confusion.”
 
Misc.
 
2 
2 
“ Throw them away!”
  
“ Explain on forms that this was not targeting any certain group ‐‐  ( seniors).”
 
Total 
26 
43 
 
 a Question wording:  “ Think for a moment about the various forms and other paperwork that you may have used to collect data on and to process 3‐ Tier customers ( for instance,  the Score Sheet or the Tracking Sheet).  Is there anything specific that you would suggest for how to improve these forms?   Please be as specific as you can in your suggestions.”
 
  b This includes one respondent’s answer to Question # 4,  re‐ coded here.
 
 
The 3‐ Tier Driving Information Survey,  which was given to all customers,  served two purposes.  First,  to gather information on those drivers who report restricting their own driving ( i. e.,  not driving at night,  or on freeways,  etc.).  These data will be used to supplement future analyses of traffic safety outcomes as regards crashes and violations.  Secondly,  filling out the survey at the counter provided an opportunity for the MVFR to observe the customer’s ability to move their upp r body.  This second purpose was intended to be part of the structured physical observation that formed a key component of the 3‐ Tier process.  No respondent raised any concerns regarding the usefulness of the survey for the latter purpose.  Instead,  those who raised concerns about the survey did 
8
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
9 
                                                
so largely around the clarity of the question wording.  No specific questions were identified,  but the survey questions were referred to as being “ tricky”  and “ misleading.”   As 8 of the 10 respondents who raised this issue were MVFRs,  it appears that the concerns stemmed from customers reporting trouble answering the survey,  and so asking the technician for clarification.
  
 
In addition,  one MVFR noted that ( some)  customers were guarded in their answers because of fears that the information provided might have implications for further tes ing.  Inasmuch as the document in question was partly a research tool ( re:  self‐ restricting drivers),  MVFRs may not have received training in how to answer customer questions as to the purpose behind the survey.  That ( some)  MVFRs reported difficulty in answering customer queries regarding the survey probably indicates,  if nothing else,  that if some sort of writing exercise is included as part of the 3‐ Tier process,  that it be of a nature such that technicians can easily address customer feedback.  Currently,  for instance,  customers are encouraged to fill out any paperwork while they are waiting for their queue number to be called ( this reduces,  somewhat,  the amount of time any given customer spends with a technician at a window,  and so speeds up processing time).  Perhaps some portion of the driver license application ( DMV Form DL 44)  might be “ reserved”  for completion at the counter;  currently this includes only the customer’s signature.
  
 
While the customer had to fill out the Driver Information Survey,  the technician was responsible for filling out two closely related pieces of paperwork:  the Tier 1 Score Sheet and the top portion of the first page of the 3‐ Tier Tracking Sheet.  About half of those who made suggestions regarding the forms ( 35/ 69)  directed their comments at one or both of these forms.  These suggestions came in four types:  in addition to concerns about clarity,  length,  and redundancy,  a few respondents gave concrete and specific suggestions that essentially amounted to editing for clarity and ease of use.  In general,  the suggestions that were made had to do with eliminating redundant questions and reducing the number of pages to ( ideally)  one,  to eliminate excess paperwork.  Notably,  only one person suggested getting rid of these forms entirely2,  and only two suggested incorporating them into the computer‐ based application retrieval and input system ( the DMVA)  used to process most types of basic customer transactions.
  
2 This respondent was a Hearing Officer.  This response was coded as “ miscellaneous”  rather than as a suggestion regarding the tracking sheet or score sheet.   Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
Certainly any paperwork that can be made easier to complete,  while still capturing necessary and vital information,  should be.  All forms used for future implementation should be thoroughly vetted for clarity of instructions,  simplicity of presentation,  and overall straightforwardness.  However,  the points raised by staff also raise a secondary problem.  The process of using paper forms for the 3‐ Tier Pilot was,  to some extent,  deliberately archaic.  Filling out forms by hand ( instead of keying data into a computer)  slowed down the renewal process partly in order to facilitate the structured physical observation of the customer by the techn cian. 3  This archaism introduced a slightly contradictory set of demands on the technicians who worked at the front‐ line windows.   In the first instance,  technicians are encouraged by various means to process customers as fast as possible,  to reduce wait times and increase office efficiency and productivity.  At the same time,  however,  the 3‐ Tier process encouraged the technician to carefully observe customers,  through the use of simple assessment tools,  for potential physical and cognitive limitations that might impact the customer’s ability to drive safely.  The suggestions made by staff regarding the tracking sheet in general appear to be made with any eye toward increasing the eff ciency and productivity of customer processing.  This includes filling out one form instead of two,  reducing or eliminating redundancies,  changing the question format to a series of check‐ off boxes rather than blanks that need to be filled in with numerical information.  This will no doubt,  at the margins,  save customer processing time,  especially if the questions on the Tier 1 Score Sheet are incorporated into the DMVA computer system.  At the same time,  altering the method of making structured physical observations for simplicity and speed will also,  perhaps,  tend toward cursoriness of observation.
  
Suggested Revisions to Process 
Nearly three‐ fifths of respondents ( 77/ 130)  made suggestions for revisions to the 3‐ Tier process.  These covered nearly all aspects of the pilot program.  In 11 cases,  respondents said explicitly that they had no suggestions to make. 4  See Table M1.3 for a schematic summary of the qualitative responses to this question.  The responses are grouped by 
3 In addition,  of course,  it would have been prohibitively difficult to re‐ program temporarily the DMVA terminals in the pilot offices.
  
 
4 Of these 11 respondents,  8 also said explicitly that they had no suggestions to make regarding the paperwork.
  
 
10
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
11 
                                                
self‐ reported customer load.  There appears to be substantial variation between those who saw 3‐ Tier customers regularly and those who saw them rarely or not at all.
  
 
Ten respondents— all of them MVFRs or SMVTs and all of whom saw at least three customers per day— had critiques regarding the taking of a customer’s picture for their license. 5  According to the training protocols,  each technician was expected to walk to the camera area with their customer and take their picture.  By doing so,  the technician had an additional opportunity to observe the customer’s gait and carriage for potential physical limitations.  This was different from normal procedures,  where one technician typically works the camera.  The brunt of the comments in this area focused on the extra time this added to the process.  If the structured physical observation is incorporated into the DMVA system,  retaining this portion of the observation would be somewhat awkward ( among other things,  it would require the technician to keep their transaction “ logged on”  for the duration of the time they walked the customer to the camera).  An alternative would be to require that the technician working the camera separately observe each customer for potential physi al limitations.
  
 
Eight respondents ( six of whom were MVFRs)  reported concerns about the Pelli‐ Robson contrast sensitivity test ( the so‐ called “ fog chart”).  The respondents who raised these concerns came from four of the six pilot field offices; 6 all of them saw at least three customers per day.  These comments had to do with placement of the charts within the offices,  especially with potential glare from windows,  shadows,  or different levels of ambient brightness.  This raises a potential concern about the universality of this assessment,  namely whether some customers were more likely to pass or fail depending on where in the office they were seen,  or even what time of day they came into the office ( i. e.,  if the sun was shining through a window onto the chart,  as suggested by one staff member).  This concern conflicts with evidence published in the academic literature ( Zhang,  Pelli,  &  Robson,  1989),  which suggests that there should be no significant variation for outcomes on this assessment by levels of luminance.  Given this,  the issue raised here by staff has three implications.
  
 
5 These concerns came from the three large offices ( Carmichael,  Sacramento‐ Broadway,  and South Sacramento)  and the Folsom office.  The latter had a 3‐ Tier customer load more similar to the larger offices than to Vacaville or Fairfield.
  
 
6 Carmichael,  Folsom,  Sacramento‐ Broadway,  and Vacaville.   Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
Table M1.3:  Suggestions for Revisions to Process 
 
N of respondents 
( by customer load)
 
Type of suggestion 
1‐ 2/  day 
> 2/ day 
DTSa 
Examples of commentsb 
“ None”
 
6 
5 
0 
“ None.”
  
“ No changes.”
 
Camera‐ related 
0 
10 
0 
“ Walking them over to the camera…[ it]  really takes time…”
  
“ Taking the picture.  We already see our customers walking up to us when we call them on the Q[ ueue].”
 
Contrast sensitivity 
0 
8 
0 
“ Placement of the fog charts… some customers could not pass,  but when asked to use a better lighted chart,  had no problems reading it.”
 
Language 
2 
2 
0 
“ Test all customers,  not just English‐ speaking.”
 
Perceptual response test 
3 
14 
0 
“[ The PRT]… it seemed to cause the most problems with the customers and getting them to understand it.”
  
“… some of the customers do not use computers or have a hard time moving fast to respond.”
  
“ Customers thought they were looking for the car or truck in the ‘ fuzzy screen’.”
 
Memory recall exercise 
1 
6 
0 
“ Stating SSN –  the number is overheard by others ( information security).”
  
“… customers didn’t want to disclose that information in front of other customers.”
 
Suggestion 
6 
10 
1 
See text.
 
Misc.
 
0 
2 
1 
“ The weakest link is the technician ( not sure how to change this part of the process)…  not walking applicant to camera,  additional observation,  [ not]  completing forms properly,  etc.”
 
Total 
18 
57 
2 
 
a DTS:  These respondents did not answer the question regarding customer load.
 
b Question wording:  “ Aside from the forms and paperwork,  if you could pick one part of the process that you think should be changed somehow,  what would it be,  and why?”
 
 
First,  these concerns probably reflect some amount of customer reaction to the “ newness”  of 3‐ Tier procedures.  In other words,  staff may have faced questions about the Pelli‐ Robson chart,  including perhaps questions regarding the effects of ambient lighting on a given customer’s ability to read the chart.  Staff may or may not have been prepared to answer these questions.  At the very least,  this suggests some potential revisions to training materials,  to better prepare staff to handle inquiries from customers on this subject.  Secondly,  on a more practical note,  it bears noting that current field office procedures call for allowing customers the opportunity to “ switch stations”  in the event of being unable to pass the standard Snellen visual acuity test.  
12
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
13 
                                                
This practice was adopted for the use of the Pelli‐ Robson chart during the 3‐ Tier Pilot.  Therefore,  to some degree this concern about the universality of the test,  as dependent on chart location,  was resolved through normal field office procedures.
  
 
However,  this latter practice raises a third implication.  If in fact a customer’s outcome on this particular test did depend in part on ambient lighting,  this may in turn have been a result of some underlying vision condition ( e. g.,  cataracts,  macular degeneration)  which affected their contrast sensitivity ability.  Which is to say,  the assessment was working as it ought to.  To draw a parallel,  say DMV were to give multiple versions of the written law test,  with varying levels of difficulty:  an easy test,  a medium test,  and a hard test.  If a person with poor knowledge of the law is given the “ hard”  test,  is the problem that they don’t know the rules of the road,  or that they happened to get a test that was “ too hard?”   In the case of the actual written law test that the DMV currently uses,  all versions are of equal difficulty,  of course.  In the case of the Pelli‐ Robson contrast sensitivity chart,  the staff are here raising a question as to whether a person’s outcome is a product purely of their own individual ability ( their vision health)  or the “ difficulty”  of the conditions under which they are tested.  In order to address these concerns,  the author undertook a formal examination of the passage rates at different fog chart locations ( see Module # 4 of this Appendix).
  
 
Four respondents raised the issue of language.  Because of funding constraints for the pilot project,  customers participating in 3‐ Tier were limited to those renewing their license in person,  who were required to take the written test ( typically because of a past record of traffic violations or because they were 70 years of age or older),  and who chose to take the written test in English.  This resulted in the exclusion from the pilot population of those taking the written test in a language other than English.  Given the demographics of the field sites,  it is likely that this included some immigrants from the former Soviet Union,  South Asia,  East and South‐ East Asia,  and Latin America. 7  There is little reason to suspect that this will have any effect on the outcome analysis ( i. e.,  the predictive validity of different components of the 3‐ Tier process for traffic safety).  There is good reason,  however,  to believe that this had some affect on the size of the customer  
7 As of the writing of this module ( March 2010),  CA DMV makes the California Driver Handbook ( the standard study literature for preparing for either the written law exam or the on‐ the‐ road drive test)  available in 8 languages:  Armenian,  Mandarin Chinese,  Korean,  Punjabi,  Russian,  Spanish,  Tagalog,  and Vietnamese.  The law test is available in audio format in 4 additional languages ( Hindi,  Hmong,  Japanese,  and Portuguese),  and the written test is available in those plus 19 other languages.    Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
load involved in 3‐ Tier processing ( see the main body of the process analysis report).  For the present purposes,  it is enough to note that those staff raising this suggestion for amending the process appear to have been primarily concerned with the universality of the process,  or the degree to which it applied to all customers renewing their license at a DMV office.  As we shall see,  this theme arises in answers to other questions as well.  This theme likely derives from a key imperative expected of all DMV employees:  to provide everyone with excellent customer service.  The emphasis here appears to fall on the idea of giving everyone the same excellent service for which all DMV employees strive  Obviously,  in the event of statewide implementation,  the 3‐ Tier process will certainly be altered in accordance with procedures for testing in languages other than English.
  
 
Seven respondents raised concerns regarding the memory recall exercise.  These respondents came from a range of job categories at three of the larger offices,  and most saw three or more customers per day.  This cognitive assessment tool involved two parts.  At the moment a customer received their queue number,  they were told that they would be asked to recall their social security number from memory ( or their zip code,  if they did not possess an SSN)  when called to the window.  When their number was called,  they were then asked to write their SSN down,  typically on the back of their license renewal application ( DMV Form DL 1RN or DMV Form DL44).  What the customer wrote down was then checked by the attending technician for accuracy against the number on the customer’s dr ver record.  Once the customer’s transaction was complete,  any paper materials containing sensitive personal information ( such as a social security number)  were disposed of securely.  Of those who mentioned this tool,  three cited concerns over privacy or information security.  The four others suggested changing this part of the process,  but did not explain for what reason,  or how it ought to be changed.  The comments given by respondents also reveal some significant deviations from training protocols:  at least two staff members implied that they asked the customer to verbally state their SSN.  This should not have occurred.  Customers ought only to have been asked to write this number down on a paper application which was then,  according to standard office procedures,  shredded to protect the customer’s privacy.  Given these quite legitimate concerns regarding customer privacy and security,  if a memory recall exercise proves useful as a combinatory element of an index of driver competency ( cf.  Hennessy &  Janke,  2005),  it may be possible to alter the format such that it does not require the use of sensitive personal information at all.  For instance,  if the written law test is automated ( i. e.,  computerized,  instead of the paper‐ and‐ pencil 
14
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
15 
                                                
format currently used),  it may be possible to add a simple short‐ term memory recall exercise component using a randomly generated number.
  
 
There were 18 respondents who mentioned the Perceptual Response Test ( PRT).  This assessment tool involved the customer watching an alternating series of schematic images of cars and trucks flash on a co puter screen for variable lengths of time ( between 17 and 500 milliseconds).  The customer was then asked to use the touch‐ screen monitor to pick,  from two choices,  which image had appeared.  At a very basic level,  this assessment measures for potential signs of dementia‐ related cognitive limitations ( Janke,  2001;  Owsley,  Ball,  Sloane,  Roenker,  &  Bruni,  1991).  In a few cases ( 5),  staff cited purely mechanical concerns regarding improperly set volumes ( i. e.,  too low for people to hear).  In other cases,  staff had a more generalized set of concerns.  These appeared to result largely from dealing with customer questions,  confusion,  or outright fear of taking a computer‐ based test.  In some cases,  the comments revealed a misunderstanding— typically on the part of the customer,  but sometimes also on the part of the staff— regarding what the test assessed.  The most common concern cited was the so‐ called “ fuzzy screen.”   This appeared after the flashed image but before the customer had to make a choice;  this “ snow”  eliminated any retinal after‐ image left from the previous flash.  Evidently many customers,  not having seen the initial flashed image,  looked for it in the “ snow.”  They then asked the technician why they couldn’t see the schematic car or truck.  That the technician then reported this as a problem with the test ( as opposed to a sign that the customer had a potential limitation in their cognition/ perception)  suggests that they ( the technician)  faced questions from customers which they may not have had the time or training to answer.  In several cases ( 3),  respondents also cited customer fear of taking a test of any sort on a computer.  One of these latter respondents then noted that because customers might be unfamiliar with using a computer,  they had “ a hard time moving fast to respond.”   This comment is revealing inasmuch as the PRT is not,  in fact,  a reaction‐ time test.  However,  at least some staff,  and an unknown number of customers,  thought that it was. 8  In general 
8 The PRT primarily measures the speed of processing in the fovea of the retina;  thus,  if an image flashes “ too fast”  the person being tested does not see the flashed image.  This is why the length of time that images are flashed on the screen varies,  from a minimum of 17 milliseconds to a maximum of half a second,  and a person’s “ score”  on the test reflects the minimum time at which they can reliably see a flashed image.  The amount of time that it takes to decide what one has seen is irrelevant,  except insofar as the program was preset to “ time out”  if someone took more than 2 minutes to make a choice.    Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
what these comments have in common is a concern with how to provide good customer service by responding to customer questions,  confusion,  and anxiety.
  
 
In the original design of the 3‐ Tier Pilot,  this concern was anticipated,  and measures taken to specialize the administration of the PRT.  This included training particular staff in its use and,  consequently,  designating the 3‐ Tier Manager Is and their backup Administrative Managers as the appropriate persons to oversee customers taking the test.  This pilot design element came up in one of the substantive suggestions:
  
 
“ Designate certain employees to administer the PRT…[ who]  know your customer[ s,]  especially the ones who are already nervous about using computers.  Need an employee who can communicate effectively yet have patience and understanding.”
  
3‐ Tier Manager I 
 
In brief,  this manager suggested that the PRT,  if it proves useful as a driver competency assessment tool,  ought to be administered in a manner similar to the way in which the pilot was originally designed:  overseen by one or more specifically designated staff people,  who can answer questions and respond to customer concerns from a somewhat more specialized perspective.  As revealed by the survey,  however,  implementation played out somewhat differently in the various pilot offices.  Of those who raised concerns about the PRT approximately half ( 8/ 17)  were MVFRs.  While these staff may have received on‐ the‐ job training in how to administer the PRT,  none of them were included in the formal training sessions on its use.  That said,  two‐ thirds of the 3‐ Tier Manager Is— all of whom received formal training— also raised concerns about the PRT.  The concerns raised by the 3‐ Tier Manager Is were collectively quite similar to those raised by respondents from other job categories.  At the very least,  the critiques raised regarding the PRT indicate how the implementation of an unfamiliar assessment tool in an agency setting m y produce customer anxiety.  This is turn may lead to frustration on the part of staff in managing and responding to customer questions and concerns.  This anxiety and frustration may arise specifically with assessment tools that are unlike others with which staff and customer  are familiar.
 
 
There were also a number of unique substantive suggestions regarding other elements of the 3‐ Tier process.  These included ( a)  providing a designated area,  or even a separate line,  for customers with physical disabilities;  ( b)  having to wait some period of time 
16
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
17 
                                                
after a written test failure before taking it a second time ( respondent suggested a week),  ( c)  automating/ computerizing the written test as well as the Tier 1 Score Sheet,   ( d)  the disposition of duties between Hearing Officers and field office staff, 9 and ( e)  having two different observers rate each customer on potential physical limitations ( specifically,  the technician at the Start Here window,  and the technician who actually processes the customer’s application).
  
Views on 3‐ Tier’s Potential Impact on Customer Service 
The survey question on customer service had two parts:  an ordinal Likert‐ type scale (“ very positive”  through “ neutral”  to “ very negative”  impact)  and a follow‐ up open‐ ended “ comments”  section.  For this and for subsequent ordinal‐ type questions,  the answer was converted to a number,  depending on the choices available ( one through five,  or very positive through very negative,  in this case).  This allowed the calculation of means,  modes,  and cross‐ tabulations by office and job category.  In these tables,  the categories “ very negative”  and “ negative”  were combined,  to protect respondent anonymity.
  
 
Generally,  most respondents reported a positive or neutral impact on customer service ( see Table M1.4A).  Of those answering this question,  less than a fifth ( 23/ 126)  reported either a negative or very negative impact.  By contrast,  approximately 30%  ( 39/ 126)  reported a positive or very positive impact,  while the remainder ( 64/ 126,  or about half)  reported a neutral impact.  A substantial number of those reporting a neutral impact added in their comments that this really meant a “ mixed”  set of effects,  with both positive and negative elements ( to wit:  increased individual attention to customers versus increased wait times,  respectively).  The variation across offices in views on 3‐ Tier’s potential impact on customer service ranged within a fairly narrow band:  from a converted mean of 2.5 ( between positive and neutral)  at the Fairfield office to 3.1 ( approximately neutral)  at the Sacramento‐ Broadway office.  There appears to be a possible mild trend toward a more positive view at the smaller versus the larger field offices.
  
9 Specifically,  the suggestions made here had to do with ( a)  the method by which Driver Safety Office‐ mandated drive tests were scheduled ( the preferred method being online,  as opposed to by phone,  as was done in the pilot;  two comments),  and with who had the authority to schedule a second drive test for a Driver Safety Office‐ referred customer in case of a first‐ time failure.  The latter suggestions ( two of them,  both originating from DSO),  favored reserving this authority to the Hearing Officer.    Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
Table M1.4A:  Staff and Management Views of 3‐ Tier’s Impact on Customer Service,  by Office and Office Size 
 
Answer counts,  with modal answer in bold 
( converted numeric value in parentheses) a 
Office 
Very positive ( 1)
 
Positive ( 2)
 
Neutral ( 3)
 
Negative ( 4)  or 
very negative ( 5)
 
Converted Mean score ( SD)
 
Carmichael  
3 
9 
9 
8 
2.76 (. 99)
 
Fairfield  
2 
3 
3 
2 
2.50 ( 1.08)
 
Folsom  
0 
8 
6 
3 
2.71 (. 77)
 
Sacramento –  Broadway 
0 
3 
21 
6 
3.10 (. 55)
 
Sacramento –  South 
1 
2 
9 
2 
2.93 (. 92)
 
Vacaville  
1 
5 
7 
1 
2.64 (. 93)
 
DSO 
0 
1 
8 
1 
3.00 (. 45)
 
Larger field officesb 
4 
14 
39 
16 
2.93 (. 82)
 
Smaller field officesc 
3 
16 
17 
6 
2.71 (. 83)
 
Totald 
8 
31 
64 
23 
2.83 (. 84)
 
a Question wording:  “ In your experience,  what impact has this pilot had on customer service?   Very positive,  positive,  neutral,  negative,  or very negative?”
    
b Larger field offices included Carmichael,  Sacramento‐ Broadway,  and South Sacramento.
  
c Smaller field offices include Fairfield,  Folsom,  and Vacaville.  Neither category includes Driver Safety Office.
  
d Total includes one respondent who could not be located with a particular office;  this person reported a “ very positive”  impact on customer service.
 
 
There was somewhat more variation across job classification ( see Table M1.4B):  from a converted mean of 2.30 for LREs to a high of 3.50 for Managers ( other).  It is worth noting as well that the number of LREs who reported a positive impact ( 6)  almost equaled the number who reported a neutral impact ( 7).  Moreover,  about a quarter of the LREs ( 5/ 21)  reported a very positive impact on customer service.  The other job category reporting a largely positive impact was the 3‐ Tier Manager I,  with a converted mean of 2.50.  Together,  these two job categories had responsibility for the most direct,  extensive contact with customers.  This was especially true for customers in Tiers 2 and 3 of the process.  To the degree that the more advanced stages of assessment required more personalized interaction,  this appears to have reflected positively in these respondents’ assessment of 3‐ Tier’s potential impact on customer service.
  
 
 
18
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
19 
Table M1.4B:  Staff and Management Views of 3‐ Tier’s Impact on Customer Service,  by Job Category 
 
Answer counts,  with modal answers in bold 
( converted numeric value in parentheses) a 
Job category 
Very positive ( 1)
 
Positive  
( 2)
 
Neutral 
 ( 3)
 
Negative ( 4)  or 
very negative ( 5)
 
Converted mean 
 score ( SD )
 
MVFR/ SMVT 
3 
17 
42 
12 
2.85 ( 0.73)
 
LRE 
5 
6 
7 
2 
2.30 ( 0.98)
 
Hearing Officer 
0 
1 
8 
1 
3.00 ( 0.47)
 
3‐ Tier Manager I 
0 
4 
1 
1 
2.50 ( 0.84)
 
Manager ( other)
 
0 
2 
5 
7 
3.50 ( 0.94)
 
Totalb 
8 
31 
64 
23 
2.83 ( 0.84)
 
a Question wording:  see table M1.4A  
b Total includes 2 other/ decline to state.
 
 
By contrast,  the modal view of the 3‐ Tier process among other types of Managers ( Office and Administrative)  was negative.  Indeed,  the only two respondents in the sample who reported a “ very negative”  impact on customer service both fell into this job classification.  Managers,  who have ultimate responsibility for keeping down wait times in their offices,  appear to have been more likely to equate any potential increase in wait times ( such as might occur with 3‐ Tier)  with a decline in the quality of customer service.
  
 
Both of these themes— customer service as personalized attention versus customer service as potentially increased wait time— appeared in the qualitative comments on this particular question,  for which 65 respondents provided answers.  A number of respondents noted explicitly that they thought the process had a “ mixed”  ( positive and negative)  impact.  Because many respondents said more than one thing,  the schematic summary ( see Table M1.5)  reports number of comments rather than respondents.
  
 
By far the most common theme ( brought up by 20 respondents)  had to do with 3‐ Tier’s perceived impact on increasing wait times in the field offices.  This wait time was attributed to the lengthier per‐ customer processing time associated with 3‐ tier
 
  Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
Table M1.5:  Staff and Management Views on Potential Impact of 3‐ Tier on  Customer Service 
 
Qualitative 
comment 
( N) a 
Modal answer ( quantitative)  b ( N)
 
Converted mean  ( SD)
 
Examples of commentsc 
Time 
( 20)
 
Neutral ( 8);  negative ( 7)
 
3.40 
( 0.88)
 
“ Negative in the sense of wait time.”
  
“ Once the customer was told about how and why they were okay with it.  Region needs to allow more time with customers.”
 
Discrimination ( 12)
 
Neutral ( 6);  negative ( 6)
 
3.50  
( 0.52)
 
Seniors ( 10):  “ Some have complained that it is another tool to get our elderly drivers off the road.”
  
“ They think that it’s targeting old people no matter what we tell them.”
 
General ( 2):  “ Others felt singled out because they noted not all drivers participated in 3‐ Tier.”
  
“ I feel that some customers felt as if they were picked on or discriminated against.”
 
Miscellaneous  ( 6)
 
Neutral  
( 3)
 
3.17 
( 0.75)
 
“ I did not tell them they were different from anyone else.”
  
“ No one ever opted to not participate.”
  
Mixed  ( 12)
 
Neutral  
( 9)
 
2.92  
( 0.52)
 
“ It was very mixed;  some were very negative and others very positive.”
  
“ Some customers felt this was a positive procedure,  others felt they were singled out.”
 
Test fear or anxiety 
( 11)
 
Neutral  
( 6)
 
3.09 
(. 070)
 
“ They got scared;  especially because of the drive test and sometimes because of vision test.”
 
Personal attention 
( 6)
 
Positive  
( 4)
 
2.00 
( 0.63)
 
“ A greater degree of personal attention.”
  
“ A lot of customers thought the fog chart was good once [ it was]  explained to them what it was all about.”
  
Traffic safety ( 9)
 
Positive  
( 6)
 
1.89  
( 0.60)
 
“ Most customers realize DMV is trying to improve driver safety for all drivers and screening of some drivers and limiting driver  of concern is absolutely necessary.”
  
“ When people understand what we are doing and preventing,  they are happy to participate and pleased that we are taking these steps to keep roadways safe.”
  
a Total N of respondents:  65 
 b These are overlapping codes;  some responses were coded as belonging in more than one category.
 
c Question wording:  “ In your experience,  what impact has this pilot had on customer service?”
 
 
20
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
21 
                                                
procedures.  In most cases it was taken as given that any increase in wait times was equivalent to,  and synonymous with,  poor customer service.  As one 3‐ Tier Manager I put it,  “ First,  the overall wait times for all customers went up due to the lengthy processing time for each 3‐ Tier renewal.  But that negative impact I feel was outweighed…”   This was echoed by an MVFR,  who stated:  “ We are ‘ on the clock’:  when a 5 min.  transaction takes 16‐ 20 min,  it destroys my performance.”   Respondents who saw 3‐ Tier’s impact on customer service in terms of time tended to see that impact as being negative.  This was especially true among managers:  of those who answered this question ( 8),  half raised the issue of 3‐ Tier’s impact on wait times.  All managers who raised the issue of wait times viewed 3‐ Tier’s impact on customer service as being either negative or very negative.
  
 
A substantial number of respondents ( 12)  cited an impact ( largely negative)  on customer service that they equated with discrimination of one sort or another.  About half ( 7)  linked this concern regarding discrimination with the treatment of senior citizens or the elderly.  In some of these cases the respondent cited customer complaints in this area;  in other cases the respondent reported that they themselves thought the process discriminated against senior citizens somehow.  The remaining 5 mentioned discrimination,  but did not specify against whom. 10   
 
An additional 11 respondents cited what they saw as an increase in customer anxiety or fear.  Typically this was linked to “ additional testing”  ( e. g.,  taking a drive test,  but also the contrast sensitivity chart).  However,  those who cited an increase in customer anxiety or fear did not necessarily see this in entirely negative terms;  in their response to the closed‐ ended half of the question,  many cited that 3‐ Tier’s impact was “ neutral.”   This perception of a neutral ( or mixed)  impact was echoed by many in the respondent pool.  Of those surveyed,  12 noted that customer response was varied:  “ some were very negative and others very positive”  ( an MVFR).
  
 
Two themes came up often among those who cited a positive impact on customer service:  personal attention,  and improved traffic safety.  To the degree that respondents saw 3‐ Tier’s impact on customer service in either of these two frames,  they saw the impact as producing positive customer response.  This appears to be particularly true in 
10 In one of these cases,  the respondent cited elsewhere in the survey a concern over the fact that 3‐ Tier included only those customers taking the written law test in English.    Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
the case of those respondents who noted that positive customer service outcomes depended to some extent on their own ability ( or the time available)  to explain what the program was about.  Hence,  as noted by a 3‐ Tier Manager I “ A lot of customers thought the fog chart was good once [ it was]  explained to them what it was all about”  ( emphasis by the author).  Or,  as noted by an MVFR,  “ Being able to spend a little more with customers one‐ on‐ one was a good thing —  helping them to feel more at ease.”   In both cases,  improvements to traffic safety,  and reduction of customer anxiety depended,  at least in part,  on communication between staff and the customer.  This may be the logical flip‐ side,  of course,  of the previously‐ cited comments regarding how the 3‐ Tier process took longer than equivalent transactions:  Personalized communication requires both extra time and extra training in how to answer what may be complicated questions.
  
Staff Reports on Customer Feedback on 3‐ Tier 
Closely related to staff views on customer service were staff reports of what customers had to say about the pilot.  This is,  of course,  different from customers’ views on 3‐ Tier ( see Module # 3 of this Appendix)  which were analyzed with a separate survey.  In many cases the responses repeated the answers provided to the previous question ( on customer service),  though there were also instances of respondents answering one question but not the other.  The results reported here should be taken as,  at best,  a rough and indirect indicator of what customers in general thought about 3‐ Tier.  However,  they also provide a window onto the kinds of concerns and questions staff had to address on a daily basis.  Thus these data illustrate the kinds of problems that are likely to arise when providing good customer service in a public age cy setting.  See Table M1.6 for a schematic summary of the open‐ ended responses to this question.  As with the previous table,  the coding scheme here is overlapping;  a few comments received more than one code,  and so the counts refer to responses,  not respondents.
  
 
In a number of cases the respondent reported either negative or positive feedback which they linked to a specific concern or pr ise regarding the program.  However,  in other cases ( 12),  negative and positive feedback on the program was left unspecified.  That said,  approximately a quarter ( 20/ 72 respondents)  reported negative customer  
22
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
23 
 Table M1.6:  Staff and Management Reports of Customer Feedback on 3‐ Tier 
 
Type of comment ( N) a, b 
Examples of commentsc 
Discrimination 
( 18)
 
Seniors:  “ The older customers said it was discrimination.”
  
       “ The elderly customers all asked if we were targeting them.”
 
General:  “ Some felt as if they were a target.”
  
        “ They think that it’s a target tactic.”
 
Questions 
( 8)
 
“ About the survey —  and the referral to the ophthalmologist.”
  
“ Mostly questions about it.”
 
Testing 
( 22)
 
Neutral:  “ Most did not know about the program but several asked about the fog chart.”
 
Negative:  “ Most were upset regarding tests,  both visual and written.”
 
Positive:  “ Most comments were positive.  There were a lot of ‘ thanks for taking these steps’ and ‘ that fog chart is great’ comments.”
 
Traffic safety 
( 6)
 
“ Others say [ it]  is good because it will keep roads safe.”
  
“ Many drivers appreciated suggestions to improve their driving and the effort made by DMV ( time and travel)  to give them an opportunity to have limited driving.”
 
Time 
( 4)
 
“ The whole process took too long for their busy schedules.”
  
“ The customers appreciated the ‘ extra time’ we spent helping to get their license.”
 
Negative 
( 20)
 
Discrimination:  “ Negative feedback.  Customers felt singled out…”
  
Testing:  “ All the people who failed the fog chart,  written test,  or PRT were against 3‐ Tier.”
 
Seniors:  “ Mostly elderly customers were asking why we have to this,  it seemed like they were not too happy about it.”
 
Positive 
( 11)
 
Traffic Safety:  “ Some good,  stating ‘ good trying to make our drivers are safe on the road’.”
 
Miscellaneous/  unspecified 
( 20)
 
“ No feedback at all.  Respondents were guarded with responses to survey.”
  
“ Have been told this is ‘ stupid’ to this is a ‘ great’ tool.”
  
“ Some customers though it was a good idea.”
 
a Total #  of respondents:  72  
b This table reflects the use of overlapping codes.
 
c Question wording:  “ Did you receive feedback ( positive or negative)  from customers regarding the 3‐ Tier Pilot?”
 
 
feedback of some kind.  Of these,  10 stated that it came from customers who had to take additional tests,  or were upset about having failed to pass certain assessments.  Among those reporting negative feedback,  5 stated that it came from seniors.  This was usually linked to either perceived discrimination or anxiety regarding the various assessment tests;  this code overlaps to some extent with the previous one.  An additional 8 respondents reported unspecified negative comments.  Of those reporting positive feedback,  8 out of 11 reported good customer reactions to the testing procedures   Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
( especially the contrast sensitivity test,  but also to the more general concept of improving traffic safety).
 
 
Noteworthy for their relative rarity were comments about the wait time that 3‐ Tier may have added;  only 4 respondents noted that customers gave feedback about wait times,  and in one of those cases the feedback was positive ( i. e.,  appreciation for more personalized attention).
  
 
In 18 cases,  the respondent reported customer complaints regarding discrimination,  targeting,  or being “ singled out”  and “ picked on.”   In 12 of these,  the respondent stated explicitly that this had to do with discrimination against seniors,  while in the other 6 cases the population facing discrimination remained unspecified.  In general there appears to be no relationship between a respondent’s reports of customer complaints on this issue,  and their own views on the impact on customer service.  An additional 3 respondents reported questions or feedback from seniors;  while they did not cite complaints of discrimination,  they did report negative feedback,  as in “ Mostly elderly customers were asking why we have to this,  it seemed like they were not too happy about it”  ( an MVFR).
  
 
In 22 cases,  the respondent reported customer questions regarding the testing,  and more specifically with the justification for the project as a whole ( e. g.,  as reported by one SMVT,  “ Some customers asked why they had to go through all that process.”),  or with specific elements ( e. g.,  the Perceptual Response Test [ PRT],  the Pelli‐ Robson chart).   To the degree that respondents reported customer questions regarding the PRT,  those comments tended to be negative.  On the other hand,  to the degree that respondents reported customer questions regarding the Pelli‐ Robson contrast sensitivity chart,  those comments tended to be neutral or positive.  Comments on the various testing elements were approximately evenly split between reported negative customer reactions ( 8 responses),  and neutral or mixed reactions ( 9 responses).
  
Staff Views on the Fairness of 3‐ Tier 
In a format similar to the phrasing used for customer service,  the survey used a two‐ part question about staff views on the fairness of the 3‐ Tier process.  The ordinal forced‐ choice portion had a range from one (“ very fair”)  to four (“ not very fair”),  after which the respondent was invited to give qualitative comments.  See Tables M1.7A and M1.7B 
24
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
25 
for a summary of findings on the quantitative portion of this question by office,  office size,  and by job category.  Because very few respondents replied that the process was “ not very fair”  these responses were combined with the next category (“ somewhat fair”)  to protect anonymity.
  
 
Table M1.7A:  Staff and Management Views of the Fairness of the 3‐ Tier Process,  by Office and Office Size 
 
Answer counts,  with modal answer in bold 
( converted numeric value in parentheses) a 
Office 
Very fair ( 1)
 
Fairly fair ( 2)
 
Somewhat fair ( 3)  or not very fair ( 4)
 
Converted mean score ( SD)
 
Carmichael  
7 
11 
11 
2.21 (. 92)
 
Fairfield  
3 
2 
4 
2.44 ( 1.33)
 
Folsom  
4 
7 
5 
2.06 ( 0.77)
 
Sacramento –  Broadway  
9 
10 
10 
2.07 ( 0.88)
 
Sacramento –  South  
4 
8 
4 
2.13 ( 0.96)
 
Vacaville  
1 
8 
7 
2.44 ( 0.73)
 
DSO 
4 
3 
2 
1.89 ( 1.05)
 
Large field officesb 
20 
29 
21 
2.12 ( 0.88)
 
Smaller field officesb 
8 
17 
16 
2.29 ( 0.90)
 
Totalc 
32 
49 
44 
2.18 ( 0.91)
 
a Question wording:  “ How fair do you think the 3‐ Tier process was?   Very fair,  fairly fair,  somewhat fair,  or not very fair?”
  
b For definition of larger and smaller field offices,  see Table M1.4A  
c Total includes one respondent who could not be located with a particular office —  this person reported that they thought the 3‐ Tier process was “ somewhat fair.”
  
 
There does appear to be a substantial degree of concern among staff regarding the fairness of the 3‐ Tier process.  The modal answer overall,  and for most offices,  is “ fairly fair.”   However,  more respondents believe the process is “ somewhat fair”  or “ not very fair”  than believe that it is “ very fair.”   There is substantial variation across job categories:  while LREs and Hearing Officers are most likely to regard the process as “ very fair,”  MVFRs and SMVTs typically regard it as “ fairly fair,”  while managers of any stripe ( including 3‐ Tier Manager Is)  are most likely to regard it as either “ somewhat fair”  or “ not very fair.”   This variation does not appear to be driven by either self‐ reported customer load or whether or not a respondent received formal training for the 3‐ Tier Pilot ( cross‐ tabulations not shown,  available upon request from the author).
  
  Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
Table M1.7B:  Staff and Management Views of the Fairness of the 3‐ Tier Process,  by Job Category 
 
Answer counts,  with modal answer in bold 
( converted numeric value in parentheses) a 
Job category 
Very fair ( 1)
 
Fairly fair ( 2)
 
Somewhat fair ( 3)  or 
not very fair ( 4)
 
Converted mean score ( SD)
 
MVFR/ SMVT 
13 
35 
27 
2.25 ( 0.82)
 
LRE 
9 
5 
7 
1.95 ( 0.97)
 
Hearing Officer 
4 
3 
1 
1.75 ( 1.04)
 
3‐ Tier Manager I 
1 
2 
3 
2.50 ( 1.05)
 
Manager ( other)
 
4 
3 
6 
2.23 ( 1.01)
 
Totalb 
32 
49 
44 
2.17 ( 0.90)
 
a Question wording:  see Table M1.7A  
b Total includes two other/ decline to state.
 
 
Those with the most direct responsibility for making licensing decisions ( LREs and Hearing Officers)  appear to have been most likely to regard the process as “ very fair.”   By contrast,  those most removed from the processes of collecting assessment information and using that information to make licensing decisi ns ( i. e.,  Managers)  were most likely to view the process as unfair in some respect.  One potential explanation for these patterns is that those with the most day‐ to‐ day experience in making decisions regarding fitness to drive safely are both ( a)  most familiar with the training protocols which undergird these decisions,  and ( b)  most comfortable with the responsibility for making such decisions.  However,  given the nature of the data in this survey,  any speculation on this pattern must remain tentative.
  
 
As a follow‐ up,  respondents were invited to explain their answers,  especially if they had concerns about the fairness of the program.  Given the question wording,  the answers were ( perhaps not surprisingly)  skewed towards those who thought that 3‐ Tier was unfair in some respect or other.  There were 52 respondents who gave an open‐ ended comment;  this was the second‐ lowest response rate ( 40%)  of any of the open‐ ended questions. 11  Concerns over the fairness of the 3‐ Tier Pilot came in three categories:  language,  discrimination,  and testing elements ( ten responses were assigned 
11 It is probably best not to read too much into the low response rate to this question,  which may flow from a number of causes:  relative satisfaction with the fairness of the pilot,  question difficulty,  or even question fatigue.   
26
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
27 
to a rump category of “ misc./ none”).  See Table M1.8 for a schematic summary.  Since all responses contained a single theme,  the N of responses equals the N of respondents in this table.
 
 
There were 11 respondents who raised the issue of 3‐ Tier Pilot enrolling only those customers who took their renewal test in English.  As stated earlier,  in the event of statewide implementation of the 3‐ Tier process ( or any of its constituent elements),  it will presumably be made available in any of the languages for which DMV provides educational and testing materials.  Of the 9 respondents who reported that the process was “ not very fair,”  4 raised concerns about it being available in all languages ( 3 raised concerns about discrimination,  and 2 did not answer the qualitative follow‐ up).  An additional 14 respondents raised a concern about perceived discrimination in the process;  of these,  11 linked their concerns explicitly to treatment of seniors ( 3 also mentioned those with physical disabilities as well as seniors).  In combination,  this suggests that staff concerns regarding any potential unfairness to the 3‐ Tier Pilot can be addressed in a relatively straightforward manner,  as they are largely limited to these two issues ( language,  and differential impact on senior citizens).
  
 
There were 17 respondents who critiqued various assessment tests of the 3‐ Tier process.  These were spread out over all elements.  However,  the bulk of comments were directed toward the contrast sensitivity charts and the memory recall exercise.  In many cases the concerns raised here paralleled statements made by respondents elsewhere in the survey ( i. e.,  in answer to question # 4,  regarding suggested revisions to the process).  For instance,  7 respondents raised here their concerns that differential lighting on the Pelli‐ Robson contrast sensitivity charts was unfair to some customers.  There were 4 respondents who mentioned the memory recall exercise;  here the comments tended to reveal some confusion regarding the purpose of the test,  which may have been related to the perceived unfairness of this assessment tool.
  
 
As a more general matter,  the concerns raised here point up two ways in which staff saw “ fairness”  ( or universality)  as an issue.  The first has to do with how customers view the process as they experience it.  At least according to some of those surveyed,  some ( unknown)  number of customers told DMV staff that they thought the 3‐ Tier process was unfair.  This appears to have been largely confined to senior citizens.  To the degree that customers observe the processing and treatment of other patrons in comparison to   Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
their own experience,  they may be sensitive to any perceived differences in what is required of any given customer.  This may partly explain why the PRT— as opposed to the contrast sensitivity chart— became a focus of customer questions and complaints.  While all 3‐ Tier customers had to take the contrast sensitivity test ( which was part of Tier 1),  a much smaller number had to take the PRT ( which was part of Tier 2).
  
 
Table M1.8:  Staff and Management Concerns Regarding the Fairness of the 3‐ Tier Process  
 
Qualitative comment ( N) a 
Modal answer ( quantitative)  ( N)
 
Examples of commentsb 
Language 
( 11)
 
Somewhat fair ( 4)  not very fair ( 4)
 
“ Process should cover all languages,  out of state original applicants.”
  
“ All drivers should have been included,  not just English speaking.”
 
Discrimination ( 15)
 
Somewhat fair ( 6)
 
“ Screen every customer so that everyone knows they have been screened for 3‐ Tier,  then no chance of feeling elderly being targeted.”
  
“ Maybe come up with a better response to give to the elderly,  because they felt they were being targeted.”
  
“ I think it targets the elderly.”
 
Testing 
( 16)
 
Somewhat fair ( 9)
 
Memory Recall ( 4 comments):  “ I don’t understand the purpose of the memory test.”
  
“ The main problem I saw as far as fairness was the customer having to memorize their SSN.  If you never had to memorize [ it]  in 40 to 70 years,  why should they be penalized[?]”
 
Contrast sensitivity ( 7 comments):  “ The design of offices needs to be taken into consideration.  Large windows cause extra glare on fog chart.”
  
“ Each fog chart had different ambient lighting characteristics.”
 
Educational Intervention:  “ It was noticed that we did not give the same education info to all customers.”
 
PRT:  “… the PRT,  a computer test… is rather frightening to most of the elderly.  They are afraid and not sure what to do.”
 
Misc./ none ( 10)
 
Fairly fair ( 5)
 
“ FYI:  I am so happy because the people who did not too good are the ones that really need to stop driving.”
  
“ This was a thought out project by someone.”
  
“ None.”
  
“ Not sure.”
  
a Total N of respondents:  52  
b Question wording:  see Table M1.7A 
 
28
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
29 
From the staff perspective,  however,  there may exist some variation in understanding the nature and purpose of assessment testing.  Although only a few respondents bluntly said,  as did one SMVT,  “ I think it targets the elderly,”  it appears that this sentiment was shared by a not‐ insubstantial minority of staff.  This issue of “ targeting,”  or discrimination— especially as regards senior citizens— appears to be linked to two assessment tools in particular:  the memory recall exercise,  and the PRT.  Both of these are designed to assess,  at a basic level,  two potential symptoms of dementia:  short‐ term memory loss,  and perceptual speed.  Inasmuch as risk of dementia is correlated with age,  and to the degree that these assessments were administered properly,  it should not be surprising that those customers who were flagged by these assessments for further testing were disproportiona ely senior citizens.  That some staff then perceived this as “ discriminatory”— rather than the assessment tools accurately working to flag those with potential cognitive limitations— suggests a potential gap in understanding the evidentiary basis for traffic safety screening tests.  This may be something that can be addressed in training,  with an additional focus on the rationale for,  and traffic safety implications of,  various assessment tools.
  
Staff Feedback on Training 
There were three questions related to training:  a general query regarding its usefulness,  a follow‐ up about the speed with which staff and managers became familiar with the 3‐ Tier process ( i. e.,  the “ learning curve”),  and a third question regarding the number and type of questions that came up in the post‐ training period of the pilot.  See Tables M1.9A and M1.9B for the tabulated results of answers to the question regarding usefulness of training.  Note:  approximately 10%  of the surveyed population did not attend formal training for 3‐ Tier —  their answers are excluded from Tables M1.9A and M1.9B.
  
 
Because of anonymity concerns,  the original four categories available for this question were collapsed to two:  “ extremely”  or “ very useful”,  and “ somewhat”  or “ of limited usefulness.”   This collapsing of categories produces the appearance of more variation than exists in the data:  only 11 people each answered that the training was either “ very useful”  or “ of limited usefulness.”   In other words,  the overwhelming majority of respondents chose the middle two categories.  This resulted in relatively little variation    Module # 1:  The Staff Survey                                                  THE 3‐ TIER PROCESS REPORT APPENDIX
                                    
Table M1.9A:  Staff and Management Views of the Usefulness of Training,  by Office and Office Size 
 
Answer counts,  with modal answer in bold 
( converted numeric value in parentheses) a 
Office 
Extremely ( 1)  or 
 very useful ( 2)
 
Somewhat ( 3)  or  
of limited usefulness ( 4)
 
Converted mean score ( SD)
 
Carmichael 
12 
13 
2.56 ( 0.82)
 
Fairfield 
6 
4 
2.20 ( 0.79)
 
Folsom 
11 
4 
2.13 ( 0.64)
 
Sacramento –  Broadway 
8 
15 
2.70 ( 0.70)
 
Sacramento –  South 
7 
6 
2.38 ( 0.87)
 
Vacaville 
6 
7 
2.46 ( 0.88)
 
DSO 
0 
9 
3.44 ( 0.53)
 
Large field offices b 
27 
34 
2.57 ( 0.78)
 
Smaller field offices b 
23 
24 
2.49 ( 0.86)
 
Totalc 
54 
61 
2.53 ( 0.82)
 
a Question wording:  “ How useful did you find the formal training,  knowing what you do now about the process?   Extremely useful,  very useful,  somewhat useful,  or of limited usefulness?”
  
b For definition of larger and smaller field offices,  see Table M1.4A 
c Total includes one person that could not be located with an office.  They reported training to be “ very useful.”
  
 
Table M1.9B:  Staff and Management Views of the Usefulness of Training,  by Job Category 
 
Answer counts,  with modal answer in bold 
 ( converted numeric value in parentheses) a 
Job category 
Extremely ( 1)  or 
 very useful ( 2)
 
Somewhat ( 3)  or  
of limited usefulness ( 4)
 
Converted mean score ( SD)
 
MVFR/ SMVT 
32 
31 
2.46 ( 0.75)
 
LRE 
9 
7 
2.13 ( 0.83)
 
Hearing Officer 
0 
8 
3.50 ( 0.54)
 
3‐ Tier Manager I 
3 
4 
2.71 ( 0.76)
 
Manager ( other)
 
6 
4 
2.50 ( 0.97)
 
Totalb 
51 
58 
2.53 ( 0.82)
 
a Question wording:  see Table M1.9A.
  
b Total includes 2 Other/ Decline to State,  one of whom reported that training was “ very useful”  and one of whom reported that it was “ somewhat useful.”
  
 
30
  THE 3‐ TIER PROCESS REPORT APPENDIX                                                                              Module # 1:  The Staff Survey                                    
 
 
                                  
                    
31 
across offices or office size.  However,  it is clear that the Hearing Officers in the Driver Safety Branch had a markedly more negative assessment of the usefulness of training.
  
 
No Hearing Officer viewed training as “ extremely”  or “ very useful.”   In part this may reflect the fact that the staff in that office were trained first,  before any other office.  As the training protocols were later changed,  some of the information that had been given to the Hearing Officers became obsolete.  This led to some confusion during implementation of the project.
  
 
Table M1.10:  Staff and Management Concerns Regarding the Usefulness of Training 
 
Type of comment 
Number of responsesa 
Examples of commentsb 
Confusion/  changed 
23 
“ The original instructions were vague and got changed as implementation progressed.”
  
“ It was useful but needed to be a little more set before the training.”
  
“ Too many unanswered questions during training class.”
 
Good 
5 
“ A well put together class.”
  
“ Trainers were great.”
  
“ It made everything pretty clear and let us know what to expect.”
 
On‐ the‐ job training and/ or 
role‐ playing 
11/ 16c 
“ Nothing like on the job experience.”
  
“ The training was great for questions but you never learn everything in training.  Doing the work in the field is the best training.”
  
“ I learned as I went along with help from everyone in the office”  “ The training explained the tracking and score sheets.  But not much on the actual f