Attachment O - Public Comment Nelson King

Comments on Research Design of the AHRQ Health IT Community Tracking Study 2009 
Nelson King, PhD 
American University of Beirut 
September 16, 2009 
Email: [email protected] 

Federal Register / Vol. 74, No. 168 / Tuesday, September 1, 2009 / Notices pg. 45211 
DEPARTMENT OF HEALTH AND HUMAN SERVICES 
Agency for Healthcare Research and Quality 
Comment Request 

I am a healthcare information system researcher who focuses on the social and organizational impact of 
clinical systems so I work primarily with qualitative methods.  My work in e‐prescribing dates back to 
2006.  I have three contributions to the e‐prescribing literature (see below) and several related 
manuscripts in progress.   
•

•

•

King NE, “An Initial Exploration of Stakeholder Benefit Dependencies in Ambulatory E‐
Prescribing", 15th Americas Conference on Information Systems, 2009. Available by 
membership at http://aisel.aisnet.org/amcis2009/509 
King NE, "Overcoming Ambulatory E‐prescribing Adoption Challenges: Governments Shaping 
Innovation On Behalf Of Individual Stakeholders", Report (unpublished manuscript), IBM Center 
for the Business of Government. Available at http://ssrn.com/abstract=1334653 
King NE, Christie T, Alami K, "Process Implications of E‐Prescribing Information Integration 
Models: United States Versus a Middle East Approach", E‐service Journal, Vol 5, No. 3, Summer 
2007, pp. 15‐37. Available at http://muse.jhu.edu/journals/eservice_journal/v005/5.3king.html 

My other healthcare articles covering medication management, indoor positioning systems, and medical 
imaging informatics can be found on my website http://sites.google.com/site/king2know/.  My 
comments on the proposed Health IT Community Tracking Study 2009 are based on this previous work 
and a limited number of interviews on some aspects of the proposed survey. 
The survey fills a missing gap in the literature and provides more of an end‐to‐end medication 
management perspective that should prove fruitful.  The limitations of the research approach are noted 
by the researchers on which I have no disagreement.  My comments are directed at taking advantage of 
this opportunity to ask more insightful questions that dig into the socio‐organizational context of e‐
prescribing adopters. 
In general, the protocols should be looked over again to make sure they are targeted properly.  Many of 
the questions appear to have been cut/paste and some additional tailoring would be helpful.  I also 
suggest the protocols be pilot tested.  The protocol(s) in places seems better suited to an on‐line survey 
due to length of explanations.  Some of the questions are quite long and less suited to a phone 
Comments – AHRQ HIT CTS 2009 – N. King 

Page 1 

interview.  Perhaps some of the questions can be included with the cover letter.  You may wish to 
consider prioritizing your questions because at least for your shorter interviews (30 minutes with 
physician) you are likely to run out of time.  Some of the questions may be more amenable to a written 
(web‐based) questionnaire that would enrich your data. 
The following comments listed by protocol are not meant to be exhaustive.  Some are quite specific and 
applicable to more than one protocol while others suggest areas of investigation that do not appear to 
be covered in the survey.   

SPECIFIC COMMENTS 
PROTOCOL 1 Practice (office) manager 
Suggest clarifying “we are interviewing practices with e‐prescribing that send prescriptions directly from 
their e‐prescribing system to pharmacies electronically, instead of by fax.” Many e‐prescribing systems 
send electronic fax from the e‐prescribing system to the pharmacy.  The IT Administrator/Office 
Manager may not be aware of how the system is configured.  All they may know is that no manual fax 
are sent.  I had such an experience two months ago with a large healthcare organization using the EMR 
of a large vendor.   
The protocol is quite long and will take several minutes to read.  Would it not be better to send them 
this introductory information in advance?  Then the protocol could ask if the information had been read 
and understood.  This would allow the interviewee to have the necessary study information in hand for 
future reference and follow‐up.  The ability to follow‐up, especially in the early interviews, is key to 
successful qualitative research.   
One should also consider having some of the early questions having written responses – then you 
follow‐up with a phone interview.  This allows for pre‐screening.   Many of your early questions are just 
screening  and demographic questions.  There isn’t much value‐added by spending valuable interview 
time having them look up information that might already be on the website (e.g., Q.AEX.A….). 
One concern I have with the research design (in general) is that you may get an incomplete response 
and you don’t have a mechanism to replace an insufficient response from one site with another (or at 
least not stated in protocol).   
You may need to explain “stand‐alone”. 
Q.AEX.B.03.c might be better phrased “what percentage of …”  The respondent might get defensive to 
say no because only 90% are using it (90% is not all).    
Q.AEX.B.04.  perhaps better to ask “when was the e‐prescribing system last updated” (but explain what 
you mean – just software update or system replacement) and “when do you plan to update the system 
next”.  You can then determine the interval on your own. 
Comments – AHRQ HIT CTS 2009 – N. King 

Page 2 

Q.AEX.C.01. is a good question.  Per earlier comments, I think it should be the starting point – all the 
previous questions could be answered in writing in advance.   
Q.AEX.C.01.  If surrogates are not mentioned – it should be asked.  While a surprise to the AHRQ pilot 
study (2006/7) research teams, the existence of surrogates is well known.  Pharmacists rarely speak to 
the physician directly.  Contact me if you want some questions to ask.   
Q.AEX.C.A. series and especially Q.AEX.C.A.03.  You need a fallback question to elicit a response.  They 
may not have these in mind so have trigger questions available.  For example:  For your typical 
physician, if the third party patient medication history is available (e.g., no technical issues), what would 
the physician need to know to trust it?  Does the practice make it a priority to update the medical 
history or rely upon the 3rd party information.  Does making this 3rd party information available to the 
practice make it more liable for prescribing mistakes?  
Q.AEX.C.B.02.  “facilitating” or inhibiting?  Earlier studies show that the specific formulary  information is 
limited. 
Q.AEX.C.B.03.  Again – what are the issues?  Patient demands brand? Physician doesn’t know much 
about the alternative drugs?  Physician has a preferred drug for that situation?  I suggest going through 
the literature and having a checklist of questions like this on your protocol to aid your respondent. 
Q.AEX.C.C.01.a is missing. 
Q.AEX.C.C. presumes the physician will use generic information.  The literature suggests that most 
physicians prescribe brand. 
Perhaps Q.AEX.C.C.01.d should be “knowing your physicians, would they access generic medication 
information or prefer to just name the brand (and let the pharmacy choose the appropriate generic)? 
Q.AEX.C.F.01.a missing 
Q.AEX.C.F.01.b missing 
Q.AEX.C.F. series of questions – wouldn’t this be better in the technical detail questions asked earlier? 
Q.AEX.C.F.01.g  Who in the practice populates the patient’s choice of pharmacy? 
Q.AEX.C.F.01.h  What options does your e‐prescribing system offer in terms of choice of pharmacy?  
Different pharmacy for a particular drug?  No pharmacy choice (patient decides later)?  Contact me for 
additional questions. 
Q.AEX.C.F.02.a.   followup – does the practice want to know about whether the patient picked up the 
prescription?  Doesn’t this introduce liability issues for the practice? 
Q.AEX.C.F.02.c.  Again the issue of surrogates.  Who really handles these messages?  Is the system 
configured to allow surrogates?  Contact me if you wish to discuss. 
Comments – AHRQ HIT CTS 2009 – N. King 

Page 3 

Q.AEX.C.F.03.b. good question. 
Q.AEX.C.F.04.  I don’t understand the question.   
Q.AEX.C.F.05. Suggest a check list to prompt the respondent. 
Q.AEX.D.02.b. missing 
Q.AEX.D.  There is no question on preventing prescribing error – supposedly the primary reason for 
pushing a multi‐billion e‐prescribing initiative. 
Q.AEX.L.01.  “issues” should be replaced by “comments”.  They might have good things to say or at least 
topics that are not issues (in their mind). 
I noticed you don’t ask how many prescriptions are generated nor the mix (Medicare/Medical versus 
demographics).  This seems to be an important variable if you are asking about practice efficiency. 
I don’t think you have enough time allotted for the questions asked. 

PROTOCOL 2 Medical officer (or physician user) 
The comments in Protocol 1 apply to the related questions in this protocol.  Here are additional 
suggestions. 
A contrast should be made between lead users and the reluctant users.  Presumably the medical officer 
willing to talk to you is a lead user.  You can’t ask this directly. 
Suggest Q.AEX.C.00.  you need to get a sense of the knowledge of the respondent about the system.  
Based on your Protocol 1 response, you could list the features the office manager described and confirm 
these are the ones in use (or at least available). 
Q.AEX.C.B.02.  Suggest list of facilitating factors. 
Q.AEX.C.D.01.a.  Does the physician have to fill in the preferred pharmacy information of the patient?  If 
not, who does it? 
Q.AEX.C.D.01.a.  How does the physician decide on which pharmacy to send the prescription?  How long 
does this take? 
You don’t mention medication errors. 
You don’t mention what the physicians are going to do with all this information that might be available 
to them.  Contact me if you wish to discuss. 
What about the patients?  What is their involvement in e‐prescribing? 

Comments – AHRQ HIT CTS 2009 – N. King 

Page 4 

I don’t think 45 minutes is enough so you will need to eliminate questions or lengthen the time. 

PROTOCOL 3 Pharmacy 
The 60 minutes allotted is dis‐proportionate to the time allotted to the Office Manager (Protocol 1) and 
Physician (Protocol 2).   
Q.AEX.F.03.  There may be others like store clerks or interns.  Shouldn’t these employees be counted?  
The role of the technician should be elicited as it may vary from state to state (e.g., do they enter the 
prescription data). 
Q.AEX.F.04.a  How many are Medicare/Medical patients?  How many are other third party?  How many 
are cash?    The mix is important because of inference to demographics (e.g., low % medicare/medical 
means doctors don’t have those kinds of patients either).  Physician behavior has been shown to be 
different depending upon who they treat. 
 Q.AEX.G.02.  As in protocol 1, ask when last updated/upgraded – when do you plan to 
update/upgrade. 
Q.AEX.G.02.a.  A question about the e‐prescribing features in the installed version. 
Q.AEX.G.02.c .  If it doesn’t have e‐prescribing, what will it take (cost, resources) to upgrade.  This is a 
pressing question ignored by most e‐prescribing researchers.  Also, does the vendor have it available?  
I’ve talked to some of the smaller vendors (albeit two years ago) and were hesitant to invest in software 
development when their pharmacies weren’t interested. 
Q.AEX.H.01.  Make sure you can distinguish between EDI connected systems and just receiving the e‐
script.  Two months ago at a supermarket pharmacy chain an e‐script just shows up on a second window 
and has to be typed in. 
Q.AEX.H.02.a.  But you do want to know about computer‐generated fax as well.  This gives you an 
inference about the physicians they work with. 
Q.AEX.H.05.  An important question.  Most do (upwards of 80+ %) in majority of states.  So rephrase  
“does the pharmacy typically make a generic substitution or consult the prescribing physician about the 
possibility of a substitution?” into multiple questions.  What % generic substitution without consulting 
the prescribing physician?  (probably will need to ask if their state allows it if a low percentage).  I 
suggest you use the relevant studies to phrase consistent with existing literature.  In my opinion, one of 
most overlooked variables in studies advocating cost benefit of e‐prescribing.  Contact me if you wish to 
discuss.    
You don’t ask about surrogates.  One question to be asked:  How do you know whether the prescribing 
physician or their designate is the one responding?  Contact me if you wish to discuss. 

Comments – AHRQ HIT CTS 2009 – N. King 

Page 5 

You don’t ask anything about DDI/DAI yet pharmacists have been doing these checks electronically 
(albeit adjudication system) for many many years now.  Contact me if you wish to discuss. 
You don’t mention medication errors. 
You don’t ask about medication history.  Contact me if you wish to discuss. 
You don’t ask about the transaction fee paid by the pharmacy.  Why would a pharmacy want to pay 
upwards of $1 per transmission (depending on vendor and size of chain) for the privilege of receiving an 
e‐script and then having to retype into their system (as some do now)?  Or worse – the patient doesn’t 
show up or shows up down the street. 

PROTOCOL 4 Pharmacy Association Representative 
Make sure you check the Surescripts data for each of the 12 regions.  The usage is highly variable by 
state. 
The questions are similar to protocol 3 but you are interviewing the representative – so aren’t you 
looking for the views of the association in general?  Not just one site?  This is confusing. 
Q.AEX.I.01.b.  Does it matter what site for mail order?  Don’t mail order pharmacies operate across state 
lines? 
Q.AEX.I.01.c. I would ask prior to this if surveys had been done on their members. 
Q.AEX.H.  are these questions directed at the pharmacy of the state representative or of the association 
in general? 
I think there is too much time allocated. 
I would ask the state representative if they would be willing to administer a survey to their members.  
This would give your study some quantitative data to work with.  There are 50,000+ pharmacies so just 
interviewing a few isn’t going to be that helpful.  Better yet, set up a web‐based survey and just have the 
association pass on the information encouraging their members to participate. 

PROTOCOL 5 – Pharmacy IT Vendor 
Q.AEX.K.05. 
Need to be specific of which certification.  Surescripts certifies various services.  Half the  
vendors are uncertified for the important modules like DDI alerts and medication history. 
Q.AEX.I.01.f.  What is your transaction fee schedule charged to the pharmacy?  How much does 
Surescripts charge you?  You may not get a response on the latter.  Make sure you sample a range of 
vendors on this question – also account for market share.  We (you, me, the nation) need a weighted 
Comments – AHRQ HIT CTS 2009 – N. King 

Page 6 

average transaction (transmission) fee.  I’m guessing it is around 50‐75 cents on average for 
independent pharmacies and lower for major chains (25 cents has been mentioned in the literature) 
who don’t have to pay a software vendor fee. 
Suggest Q.AEX.K.08.  Why do you think Surescripts charges you tens of cents to simply transmit an e‐
script but the PBMs charge cents to adjudicate a prescription? 
Q.AEX.H.01.  this is actually important so “briefly” may not be best.  I’d ask for user manuals, process 
maps, UML diagrams – whatever you can get to see what options are really available.  Will help you 
address usability if this comes up from physicians (which presumably it will).  Just asking for features 
doesn’t tell you much. 
Q.AEX.H.03.b.  You are assuming that the vendor can monitor all its customers and aggregate the data? 
Q.AEX.L.02. doesn’t make sense as most vendors sell across communities. 
You don’t ask about  features in the vendor systems recommended in the literature (for manual 
prescribing) to reduce medication error (e.g., diagnosis).  Contact me if you wish to discuss. 
You don’t ask about integration to the adjudication side of their systems. 
I think you need a tech‐savvy interviewer here. 

PROTOCOL 6 E‐prescribing vendor 
Ask for screen captures, user manuals and demo versions. 
You need to ask about ability to override features … what is mandatory – what is optional and can be 
bypassed or hidden, etc. 
Look for any hidden agendas.  For example, one vendor has automatically programmed a prescription to 
be sent to a mail‐order pharmacy at the renewal time of the prescription for first usage. 
Ask about usage experience of their customers.  What features are used – not used.  Do they know why? 
You didn’t ask about Surescripts and RxHub certification. 
How does the system know which is cheapest among multiple generics?  Prices vary by region and type 
of pharmacy. 
I would ask permission for site visit (to help your related AHRQ study on features) 
I would ask if the normal competitiveness among vendors would be put on hold for national good such 
as collaborating on and adopting an alert system that actually works. 

Comments – AHRQ HIT CTS 2009 – N. King 

Page 7 

PROTOCOL 7 – E‐prescribing Connectivity and Content Vendor Representatives 
Suggest a pointed question:  Why do you charge tens of cents to simply transmit an e‐script but the 
PBMs charge cents (around ten cents) to adjudicate a prescription? 
Again ask for documentation they might provide to an IT vendor to really understand how they pass 
data. 
Q.AEX.C.A.04.  Can you share the data on how many transactions are attempted that data is incomplete 
when sent back to the physician? 
Q.AEX.C.B.03.  Can you share the data on how many transactions are attempted that data is 
incomplete when sent back to the physician? 
Has the difference in formulary standards been resolved? 
Why are e‐scripts pushed from prescriber to the pharmacy?  What are the implications of doing so? 

PROTOCOL 8 Other E‐prescribing Experts 
I presume these would be implementation consultants who would have knowledge of multiple systems.  
It might be fair to ask them (in perfect world) what set of features borrowed from each vendor would 
satisfy what kind of user (realizing users are different).  

PROTOCOL 9 Policy Makers 
I would interview policy makers once you have some feedback from other stakeholders.  There are likely 
issues raised by respondents that should be addressed at the state/national level.  My report prepared 
for the IBM Center for Business of Government http://ssrn.com/abstract=1334653 raises some of these 
policy level issues such as incentive strategies.  It is two years old so the specifics might have changed 
but raise broader issues than those covered by comments to this proposed research.  I suggest the 
report be read as I also point out the diversity of stakeholders which is something that needs to be 
addressed at some point. 

COVER LETTERS 
As suggested earlier, since you are already sending a cover letter, ask them your demographic and 
system questions.  You may get a response on those but not willing to be interviewed. 
Also clarify “instead of by fax” as it is ambiguous whether electronic fax sent from an e‐prescribing 
system counts. 
Comments – AHRQ HIT CTS 2009 – N. King 

Page 8 

Also reconsider the time allotted for your questions – again I would do a pilot before sending out all the 
letters. 

GENERAL THOUGHTS 
When it comes to adopting new systems, we need to understand what is being done with the existing 
systems (e.g., manual prescribing with electronic adjudication).  We need to ask the question from the 
stakeholders investing in a new system: “What’s in it for me?”  I raise some of these questions in the 
previous section (Specific Comments).  For example, why would a pharmacist pay upwards of $1 for 
receiving an e‐script that has to be retyped anyway due to system incompatibility?    
I move on to a system‐oriented suggestion.  The survey doesn’t address the broader issue of the 
allocation of benefits among e‐prescribing stakeholders which is why I suggest a 9th protocol to 
interview policy makers.  E‐prescribing systems are really just one element of a broader medication 
management system.  Fundamentally, most benefits of a fully implemented e‐prescribing system, 
greater use of generics and reduced medication errors, accrues to the payers.    To encourage adoption, 
the imbalance must be addressed and the system made usable.  One such example is the ability of Drug‐
to‐Drug Interaction (DDI) alert modules to detect a high payoff interaction.  It seems little progress has 
been made over the years as the recent Weingart et al (2009) study shows.  Does it make sense for the 
prescribing physician to deal with 331 alerts so that one adverse drug event (ADE) can be prevented?  
Perhaps so.  Then why not pool our efforts and develop a single effective DDI module to be used by all e‐
prescribing (and pharmacy) systems?  But perhaps it would be better for the “system” that pharmacists, 
with greater knowledge of DDI, be given more patient information (e.g., diagnosis not currently included 
on a prescription) and increase their ability to prevent ADE.  These are the types of questions that I have 
been thinking about and hope the AHRQ Health IT Community Tracking Study 2009 will raise. 

Nelson King, PhD 
Beirut, Lebanon 

Comments – AHRQ HIT CTS 2009 – N. King 

Page 9