TDR/Mòdul 2: Els projectes de recerca/Mètodes de recollida de dades en l'estudi del comportament dels usuaris

Apunts sobre Mètodes de recollida de dades en l'estudi del comportament dels usuaris basats en dos manuals i un article:
 * González Teruel, Aurora (2005). Los estudios de necesidades y usos de la información: fundamentos y perspectivas actuales. Gijón: Trea.
 * Sanz Casado, Elías (1994). Manual de estudios de usuarios. Madrid: Fundación Germán Sánchez Ruipérez: Pirámide.
 * Peiling Wang (2001). "Methodologies and methods for user behavioral research". Annual Review of Information Science and Technology, Vol. 34, 1999, 53-99.

Inicialment el paradigma que domina en la recollida d’informació per a investigar comportaments informacionals dels usuaris és el positivista, d’orientació quantitativa, que es caracteritza per: - la realitat és objectiva i singular - la investigació s’orienta cap a la generalització i la predicció - no és té en compte el context del fet que s’observa - s’utilitzen tècniques que proporcionen dades quantitatives com és el cas del qüestionari.

Més endavant apareix un paradigma naturalista amb orientació qualitativa que està caracteritzat per: - la realitat és subjectiva i múltiple - la investigació s’orienta cap a la descripció rica i en detall de la realitat observada - es fa èmfasi en el context del fet que s’observa - s’utilitzen tècniques que proporcionen dades qualitatives com és ara l’observació i les entrevistes en profunditat.

Actualment el que s’acostuma a fer és una aproximació metodològica múltiple, és a dir que s’utilitzen vàries tècniques de recollida d’informació simultàniament en una recerca. Patton (1987, citat a González Teruel) parla de triangulació metodològica.

Per a poder realitzar una bona investigació: 1. Definir els objectius que es proposa aconseguir 2. Establir quines dades cal recollir 3. A partir dels dos primers punts, l’elecció del mètode dependrà ja: a. del coneixement que es tingui dels mètodes, b. de les característiques dels usuaris a estudiar c. dels recursos disponibles que tenim per fer l’estudi.

Mètodes de recollida: DIRECTES: quan es pretén aconseguir que sigui el propi usuari el que defineixi els seu comportament, necessitats o l’ús que fa de la informació que sol·licita. Són molt útils sobretot per conèixer en profunditat els comportaments i les necessitats. Però tenen un cost molt més alt que les indirectes. Tipus: a. Tècnica d’enquesta · Qüestionari · Entrevista b. Tècnica d’observació (també usuaris simulats) c. Tècniques de consens · Tècnica Delphi · Grups de discussió o grups de debat · Tècnica de l'incident crític d. Bústia de queixes i suggeriments INDIRECTES: no cal consultar els usuaris per obtenir informació sobre comportaments i necessitats d’informació. Es pot realitzar aquesta investigació a partir de documents que produeixen o a partir de documents que sol·liciten els usuaris. Els avantatges principals són el seu cost menor que els directes i el menor temps requerit per obtenir les dades. Els inconvenients són a vegades que les dades no s’ajusten perfectament al problema plantejat, i en la majoria dels casos, presenten una falta d’actualitat que pot motivar que les conclusions de l’estudi no tinguin una correspondència total amb la realitat. Tipus: e) Anàlisi de documents produïts per l'usuari f) Anàlisi dels registres del sistema

MÈTODES DIRECTES: quan es pretén aconseguir que sigui el propi usuari el que defineixi els seu comportament, necessitats o l’ús que fa de la informació que sol·licita. Són molt útils sobretot per conèixer en profunditat els comportaments i les necessitats. Però tenen un cost molt més alt que les indirectes. Tipus: a. Tècnica d’enquesta · Qüestionari · Entrevista b. Tècnica d’observació (també usuaris simulats) c. Tècniques de consens · Tècnica Delphi · Grups de discussió o grups de debat · Tècnica de l'incident crític d. Bústia de queixes i suggeriments

a) Tècnica d'Enquesta (qüestionari i entrevista): Procediment estandaritzat d’interrogació per obtenir característiques de la població. Qüestionari: llista de preguntes estructurades dirigides a una persona que ha de contestar sense intervenció de l’enquestador i relatives a l’objecte d’investigació. És el mètode més utilitzat en els estudis d’usos i necessitats. Tipus de preguntes: · Segons la forma o contestació que requereixi a l’enquestat: - Tancades: presenten una resposta concreta limitada només a una o dues opcions (sí/no) - Categoritzades: preguntes tancades que dins d’una escala permeten una sèrie d’alternatives de resposta fixades anteriorment. - Obertes: són aquelles en què l’enquestat pot respondre lliurement · Segons la naturalesa o contingut: - Identificació: són les que es col·loquen en el qüestionari i que ajuden a identificar l’enquestat. - Afiliació: situen a l’enquestat en un determinat grup d’edat, sexe, professió, etc. - Sobre el tema de l’enquesta: es tracta de preguntes sobre fets, opinions, expectatives, motivacions, etc. de l’enquestat. · Segons la seva funció en el conjunt del qüestionari: - Informatives: les preguntes principals del qüestionari. - Filtre: serveixen per separar als individus que no els hi afecten els temes que es plantegen en preguntes posteriors. - Control: serveixen per comprovar la veracitat de les respostes donades per l’enquestat.

El qüestionari té una sèrie de limitacions (segons González Teruel): - Ha de ser elaborat amb preguntes i instruccions senzilles ja que l’usuari no té cap tipus d’assistència quan el realitza. - S’obtenen respostes sense matisos i no es dóna peu a respostes espontànies. - Mai saps del cert qui el realitza. - Acostuma a proporcionar una taxa de no-resposta elevada.

Entrevista: és una tècnica d’obtenció de la informació que utilitza el qüestionari com a eina principal. Diferències amb el qüestionari: - En l’entrevista l’entrevistador forma part de l’instrument d’obtenció d’informació i és aquest qui formula les preguntes i interactua amb l’enquestat. - Les preguntes poden formar part d’un guió pre-establert o generar-se en funció de les respostes que doni l’enquestat. (Entrevistes estructurades / Entrevistes no estructurades). Alguns autors afirmen que les entrevistes no estructurades aporten observacions més profundes. - Es poden realitzar entrevistes a persones analfabetes. - Permet captar més factors: comunicació no verbal, actituds, ambient, etc. Per contra, el qüestionari: - Suposa un cost mes baix, menys exigència de personal, evita la influència o interferència de l’entrevistador, i assegura millor l’anonimat de l’enquestat. (Patton, 1987). A vegades es combina el qüestionari amb l’entrevista perquè el qüestionari poden aportar una primera aproximació a les necessitats d’usos de la informació, aporten representativitat i les entrevistes per obtenir informació qualitativa, amb més ítems, etc.

b) Tècnica d’observació (també usuaris simulats) · Tècniques d’observació · Tècniques de consens 1. Tècnica Delphi 2. Focus group: Grups de discussió o grups de debat 3. Tècnica de l'incident crític

Mètode directe d’observació: permet obtenir informació dels usuaris sense manipulació. L’observador ha de treballar amb un guió tancat si vol comparar dades d’usuaris. Tot i que pot anar anotant aspectes que no apareixen al guió. A vegades es fan usuaris simulats que són experts i que testegen un sistema d’informació. Pot ser una observació directa si la persona sap que l’observen i encoberta si no es fa públic.

Tècniques de consens: tracten d’aconseguir els nivells d’acord entre un conjunt d’individus sobre qüestions d’interès per una investigació. L’estudi Delphi s’inclou dins d’aquestes tècniques. Es comença a utilitzar a finals dels anys 60 a EUA a qüestions polítiques, sòcioeconòmiques i a la planificació de cursos a les universitats nord-americanes. I en el nostre àmbit s’ha utilitzat per estudiar col·lectius d’usuaris que tenen un comportament informacional molt desconegut o necessitats desconegudes o per introduir serveis d’informació o productes nous. És un mètode poc utilitzat en la nostra disciplina perquè és complex. El seu objectiu és establir el mecanisme estructurat de comunicació i discussió entre un conjunt d’individus que tenen unes opinions de provada solvència per ser experts en la matèria d’estudi. Descobreix àrees de consens. El procés comença quan el moderador elabora un qüestionari amb una sèrie de preguntes que serviran per iniciar la discussió. Un cop es valida, es remet als participants (experts) que contesten i fan arribar les respostes al moderador. Aquest les analitza i planteja un nou qüestionari per tal de portar la discussió a nivells d’acord. Es torna a repetir el procés el número de vegades necessari per arribar a un nivell d’acord acceptable. Les respostes són contestades de forma individual i anònima afavorint la participació de tots els individus sense estar subjecte a condicionants externs. Avantatges: - No té barreres geogràfiques, els experts poden ser d’arreu del món. - És flexible pel que fa a les rondes, depèn de les necessitats. - Es pot aplicar a qualsevol àrea o disciplina. Desavantatges: - La validesa augmenta amb l’increment de rondes i el número de participants, però els participants es van cansant i deixen de participar. - No és la tècnica adequada per quan es desitgi contacte personal entre els participants.

Focus grup: entrevista qualitativa en profunditat realitzada a un petit número de persones cuidadosament seleccionades, sobre qüestions d’interès per la investigació. Té l’origen en la investigació de mercats per saber la resposta a nous productes. En el nostre àmbit s’ha utilitzat des del punt de vista de la gestió d’unitats d’informació per formular les metes a aconseguir en una biblioteca o per avaluar i introduir millores en determinats serveis. També s’aplica a l’estudi de les necessitats d’informació de grups determinats. La manera d’aplicar-ho és, primer seleccionar un grup homogeni, amb interessos similars. Unes 6-8 persones i una durada de mitja hora a 2 hores. Cal un moderador que dirigeixi l’entrevista que tingui coneixements en dinàmica de grups i en tècniques d’entrevista. Aquest ha de centrar el tema del debat i ajudar al grup a generar una discussió animada i productiva. Les preguntes han de ser obertes per admetre diferents respostes, quantes més millor. Avantatges: - Tècnica molt eficient per obtenir informació qualitativa. - S’optimitzen el temps i els recursos ja que permet obtenir info de vàries persones alhora. - En ser preguntes obertes, els participants aporten noves idees que potser inicialment no s’havien contemplat. - És més agradable als usuaris que l’entrevista. - La pròpia dinàmica del grup aporta filtres de qualitat. Desavantatges: - Com que són vàries persones en la sessió, el núm. de preguntes és limitat. - Les persones no s’han de conèixer entre elles ja que ho poden haver condicionants a l’hora d’expressar-se. - El moderador ha de conèixer molt bé la tècnica. - Els resultats no són representatius o generalitzables.

Tècnica de l’incident crític: s’utilitza en d’altres camps, però en l’àmbit dels estudis de necessitats i usos, la seva aplicació se centra en la formulació, a un conjunt d’usuaris, d’una sèrie de qüestions relatives a la darrera ocasió o la més significativa en la que per a desenvolupar la seva activitat van necessitar informació addicional. Es van recollint els diferents incidents crítics (activitats humanes observables i riques en detalls per permetre inferir prediccions sobre patrons de conducta futurs). Es parla de “crític” quan s’analitza un fet les conseqüències del qual són suficientment clares per l’observador. A partir de fer recordar un fet d’un moment concret i recent que recordin bé, se li fan preguntes a l’usuari, pex, preguntes relacionades amb: - què va generar la necessitat d’informació? - comportament de cerca - fonts utilitzades - grau d’èxit assolit També es pot preguntar per l’ús final de la informació, és a dir, si la informació aconseguida ha estat suficient i si s’ajustava o no a les seves necessitats, si ha generat nous coneixements, etc. Posteriorment la informació recollida es classifica en una taxonomia per facilitar l’anàlisi posterior. Aquesta metodologia serveix per quan ens interessa molt els detalls i no tant el registre exhaustiu de diferents comportaments dels usuaris. És un mètode de recerca d’entrevista personal.

c) Bústia de queixes i suggeriments: Es recull de forma directe l’opinió dels usuaris a través d’un sistema formalitzat de recollida d’informació (formulari, fitxa, etc.). És important establir un sistema de resposta als usuaris que han aportat la seva opinió.

Mètodes indirectes e) Anàlisi de documents produïts per l'usuari f) Anàlisi dels registres del sistema

e) Anàlisi de documents produïts per l’usuari Anàlisi de cites i referències: es recull bibliografia citada i referenciada pels usuaris en els seus treballs permeten identificar les necessitats d’informació que l’autor ha transformat en demandes i les ha introduït en les seves línies d’investigació per generar nous coneixements. S’estudia l’ús que es fa de la informació en el col·lectiu d’investigadors. A partir de les seves publicacions s’extrapolen les necessitats d’informació. Es pot estudiar les següents característiques,amb els seus corresponents indicadors bibliomètrics: - Actualitat dels documents (Vida mitjana, índex Pierce): actualitat i obsolescència dels documents que permetrà esporgar les col·leccions i conèixer durant quan temps es necessitarà un material. - Temàtica dels documents (temàtica documental): àrea de treball dels usuaris per elaborar productes informatius específics. - Tipologia dels documents (tipologia documental): per saber el tipus de documents que es consulten i usen els usuaris a través de les referències bibliogràfiques. Per met elaborar productes informatius i també dissenyar la política d’adquisicions. - Visibilitat documental (factor d’impacte i factor d’immediatesa): la informació que s’obté és la quantitat d’ús dels documents i serveix per avaluar la col·lecció per tal de cancel·lar subscripcions. - Dispersió de les publicacions (indicador de dispersió): se sap quines són les revistes més utilitzades pels autors per donar a conèixer les seves investigacions. Ens ajudarà a prendre decisions en la Política de subscripcions. - Col·laboració científica (índex de col·laboració): índex de firmes per treball - Utilització del propi treball (índex d’auto-cites): cites que els investigadors fan del seu propi treball. Serveix per la política d’adquisicions. - Bibliografia del propi país (índex d’aïllament): bibliografia del propi país utilitzada pels usuaris per realitzar el seu treball. Serveix per la política d’adquisicions. Avantatges: - Facilitat i objectivitat. - Possibilitat de detectar nou material. - Permet realitzar estudis al llarg del temps de manera més fàcil que havent de fer entrevistes. - No interfereix ni requereix la participació dels usuaris de forma directa. Desavantatges: - La informació que ha estat utilitzada però que no n’ha quedat constància escrita, és com si no s’hagués usat i per tant no hagués satisfet cap necessitat. - Els col·lectius que es poden estudiar són investigadors universitaris només.

f)Anàlisi dels registres del sistema Per conèixer les demandes realitzades en un sistema d’informació es pot analitzar els registres, és a dir, el que queda constància de les transaccions realitzades entre l’usuari i el sistema (peticions de préstec, servei de reprografia, ús de la sala de lectura, etc.). Es pot recollir informació a partir: - fixa de préstec o resgistre de préstecs - consulta a sala - préstecs interbibliotecaris - peticions al servei d’obtenció de documents - explotació de les webs més visitades pels usuaris - preguntes al taulell Inconvenient: obtenim informació dels usuaris, però mai dels no usuaris. Si l’usuari i el sistema són en un entorn virtual tots els processos queden enregistrats en el sistema com a registre de transaccions (transaction log). Per tant en les interaccions d’un usuari amb un sistema d’informació s’emmagatzemaran informacions com ara aspectes relacionats amb la cerca d’informació, característiques del propi usuari, l’avaluació que fa dels resultats recuperats, etc. Tot i que aquesta tècnica és còmoda i barata té algunes limitacions com que analitza les demandes realitzades pels usuaris reals i no les necessitats del col·lectiu d’usuaris potencials. Alguns exemples d’estudis: anàlisi peticions préstec, ús de les publicacions periòdiques, etc. Exemples: ANÀLISI DE TRANSACCIONS Urbano Salido, Cristóbal (2003). «Avaluació de revistes i avaluació de la recerca en humanitats i ciències socials a Catalunya : aproximació a un problema». BiD: textos universitaris de biblioteconomia i documentació, juny, núm. 10. '''http://www2.ub.es/bid/consulta_articulos.php?fichero=10urbano.htm> [Consulta: 27-08- 2007]. ENQUESTA Preprint de "The Journal of Academic Librarianship", Vol. 33, Issue 1, January 2007, p. 67-75: Consorci de Biblioteques Universitàries de Catalunya; Borrego, Àngel; Anglada i de Ferrer, Lluís M.; Barrios, Maite; Comellas, Núria (2006) Ús i usuaris de revistes electròniques a les universitats catalanes: resultats d’una enquesta http://www.recercat.net/bitstream/2072/3717/1/0609Article_JAL_RECERCAT_Cat.pdf [Consulta: 27-08-2007]

Anàlisi de registres de transaccions en suport electrònic Quan els usuaris interactuen amb uns sistema d’informació informatitzat que enregistrat al registre de transaccions. Inicialment aquest registre servia per gestionar els sistemes i posteriorment s’utilitza també per estudiar el comportament dels usuaris. Amb aquest sistema coneixem parts del procés de cerca però no coneixem a través d’aquesta forma indirecta d’investigació, el context que envolta a l’usuari, els aspectes cognitius o afectius, si és la única font d’informació que ha consultat ni tampoc sabrem l’ús que farà de la informació que ha recuperat. Podrem saber, amb poc cost i de manera ràpida, un gran nombre de dades com: - freqüència amb la que usa el sistema (núm. sessions, transaccions online realitzades durant una cerca, temps de connexió, etc.) - grau d’experiència amb l’ús (comandaments utilitzats, estructura de l’equació de cerca, etc.) Frias Montoya i Martin Rodriguez (1999) “El anàlisi transaccional como técnica de recogida de datos para el estuido del comportamiento de los usuarios del catálogo en línea”, en Congreso ISKO-España IV, 427-434. Aquests autors indiquen els aspectes mesurables d’un procés de cerca: - temps de connexió - temps de resposta - persistència dels usuaris - emmagatzamatge dels resultats obtinguts - ús de comandaments i menús - cerques amb resultat - soroll - modificacions de l’estratègia de cerca - veure la frustració a partir de la repetició d’una estratègia de cerca que no proporciona resultats - ús del menú d’ajuda - tipus i estratègies de cerca - ús dels operadors booleans - característiques individuals dels usuaris Ke, H., Kwakkelaar, R., Tai, Y., Chen, L. (2002), "Exploring behaviour of e-journal users in science and technology: transaction log analysis of Elsever's ScienceDirect OnSite in Taiwan", Library and Information Science Research, Vol. 24 No.3, pp.265-91.

Estudi de l´’us de les revistes electròniques d’un portal dedicat a la difusió de revistes: Aquests autors van estudiar l’ús de les revistes electròniques durant 9 mesos i van obtenir informació sobre: - adreces IP de connexió - visites repetides per cada IP - ús per hores, dies, setmanes - tipus de sol·licitud: llista de revistes, consulta pdf o html, accés resum, etc. - Comportament en la Cerca: núm de cerques per IP, termes de l’estratègia de cerca, camps on es realitza la cerca, operadors utilitzats, redefinició de l’estratègia, etc. - Comportament en la descàrrega d’infomració: freqüència de descàrrega, intents de descarrega d’articles no subscrits per la institució, etc. - Categories de revistes seleccionades més freqüentment - Revistes seleccionades més freqüentment Exemple: Harley, D.; Henke, J. (2007). “Toward an Effective Understanding of Website Users. Advantages and Pitfalls of Linking Transaction Log Analyses and Online Surveys”, D-Lib Magazine, 13 (3/4). Accessible a: http://www.dlib.org/dlib/march07/harley/03harley.html  Ús de multiples tècniques per a l’estudi de l’usuari: Es recomana per estudiar el comportament informacional dels usuaris utilitzar diferents tècniques. Alguns autors parlen de la triangulació (Denzin, 1978): - Triangulació de dades: utilitzar diferents fonts de dades, per ex entrevistar a una població de diferents punts de vista. - Triangulació d’investigadors: intervenció de diversos investigadors. - Triangulació teòrica: l’ús de diverses perspectives teòriques per estudiar un mateix conjunt de dades - Triangulació metodològica: l’estudi de múltiples mètodes per estudiar una mateixa realitat. La triangulació aporta validació de les dades i aprofundiment de la realitat.

Aquesta obra està subjecta a una Llicència de Creative Commons: Reconeixement-NoComercial-CompartirIgual 2.5 Espanya http://creativecommons.org/licenses/by-nc-sa/2.5/es/deed.ca