BACKGROUND: Search filters are standardised sets of search terms, with validated performance, that are designed to retrieve studies with specific characteristics. A cost-utility analysis (CUA) is the preferred type of economic evaluation to underpin decision-making at the National Institute for Health and Care Excellence (NICE). Until now, when searching for economic evidence for NICE guidelines, we have used a broad set of health economic-related search terms, even when the reviewer's interest is confined to CUAs alone.
METHODS: We developed search filters to retrieve CUAs from MEDLINE and Embase. Our aim was to achieve recall of 90% or better across both databases while reducing the overall yield compared with our existing broad economic filter. We used the relative recall method along with topic expert input to derive and validate 3 pairs of filters, assessed by their ability to identify a gold-standard set of CUAs that had been used in published NICE guidelines. We developed and validated MEDLINE and Embase filters in pairs (testing whether, when used together, they find target studies in at least 1 database), as this is how they are used in practice. We examined the proxy-precision of our new filters by comparing their overall yield with our previous approach using publications indexed in a randomly selected year (2010).
RESULTS: All 3 filter-pairs exceeded our target recall and led to substantial improvements in search proxy-precision. Our paired 'sensitive' filters achieved 100% recall (95% CI 99.0 to 100%) in the validation set. Our paired 'precise' filters also had very good recall (97.6% [95%CI: 95.4 to 98.9%]). We estimate that, compared with our previous search strategy, using the paired 'sensitive' filters would reduce reviewer screening burden by a factor of 5 and the 'precise' versions would do so by a factor of more than 20.
CONCLUSIONS: Each of the 3 paired cost-utility filters enable the identification of almost all CUAs from MEDLINE and Embase from the validation set, with substantial savings in screening workload compared to our previous search practice. We would encourage other researchers who regularly use multiple databases to consider validating search filters in combination as this will better reflect how they use databases in their everyday work.
Resultados: De los 2.545 citas identificadas en el título y el nivel abstracto, se incluyeron un total de 156 publicaciones. La mayoría de los ensayos incluyeron pacientes con síntomas de dolor de intensidad al menos moderada (por ejemplo,> 5 en un 0 a 10 puntos, escala de calificación numérica para el dolor). Al otro lado de las intervenciones, la intensidad del dolor fue el resultado más frecuente, seguido de la función de devolución específico. Cuando están presentes, los beneficios observados para el dolor eran por lo general en los pequeños (de 5 a 10 puntos en una escala analógica visual de 0 a 100 puntos o 0,5 a 1,0 puntos en una escala de calificación numérica de 0 a 10 puntos) a moderada (10 a 20 puntos) gama. Efectos sobre la función eran generalmente más pequeñas que efectos sobre el dolor; en algunos casos, hubo efectos positivos sobre el dolor, pero no hay efectos sobre la función, y un menor número de estudios de la función que el dolor medidos. Los beneficios se miden en su mayoría en el seguimiento a corto plazo. Para el dolor lumbar agudo, la evidencia sugiere que los AINE (fuerza de la evidencia [SOE]: bajo a moderado), relajantes musculares esqueléticas (SOE; moderada), opiáceos (SOE; bajo), el ejercicio (SOE; bajo), y el calor superficial ( SOE; moderada) son más eficaces que el placebo, ninguna intervención o la atención habitual, y que el acetaminofén (SOE; baja) y los corticosteroides sistémicos (SOE; bajo) no son más efectivos que el placebo. Para el dolor crónico de espalda, terapias eficaces frente a placebo, el tratamiento simulado, ningún tratamiento, la atención habitual o lista de espera son los AINE, opioides, tramadol, duloxetina, la rehabilitación multidisciplinaria, la acupuntura y el ejercicio (SOE; moderada) y benzodiazepinas, terapias psicológicas, masaje , el yoga, el tai chi y la terapia con láser de bajo nivel (SOE; bajo); manipulación de la columna fue tan efectiva como otras intervenciones activas (SOE; moderada). Pocos ensayos evaluaron la efectividad de los tratamientos para el dolor lumbar radicular, pero la evidencia disponible encontraron que las benzodiazepinas, los corticosteroides, la tracción y la manipulación espinal no eran eficaces o se asociaron con efectos pequeños (SOE; baja). Relativamente pocos ensayos compararon directamente la efectividad de diferentes medicamentos o terapias no farmacológicas diferentes, o se pueden comparar farmacológica versus tratamientos no farmacológicos, y se encuentran por lo general no hay claras diferencias en los efectos. terapias farmacológicas se asociaron con un mayor riesgo de efectos adversos en comparación con el placebo (SOE; baja a moderada). Los ensayos no fueron diseñados o potencia para detectar daños graves de las terapias farmacológicas. Aunque las tasas parecieron ser bajas y no había un mayor riesgo de daños graves en comparación con el placebo, esto no descarta riesgo significativo de algunos tratamientos. Para los tratamientos no farmacológicos, la evaluación de los daños no fue óptima, pero los daños graves que parecía ser rara (SOE; bajo).
Search filters are standardised sets of search terms, with validated performance, that are designed to retrieve studies with specific characteristics. A cost-utility analysis (CUA) is the preferred type of economic evaluation to underpin decision-making at the National Institute for Health and Care Excellence (NICE). Until now, when searching for economic evidence for NICE guidelines, we have used a broad set of health economic-related search terms, even when the reviewer's interest is confined to CUAs alone.
METHODS:
We developed search filters to retrieve CUAs from MEDLINE and Embase. Our aim was to achieve recall of 90% or better across both databases while reducing the overall yield compared with our existing broad economic filter. We used the relative recall method along with topic expert input to derive and validate 3 pairs of filters, assessed by their ability to identify a gold-standard set of CUAs that had been used in published NICE guidelines. We developed and validated MEDLINE and Embase filters in pairs (testing whether, when used together, they find target studies in at least 1 database), as this is how they are used in practice. We examined the proxy-precision of our new filters by comparing their overall yield with our previous approach using publications indexed in a randomly selected year (2010).
RESULTS:
All 3 filter-pairs exceeded our target recall and led to substantial improvements in search proxy-precision. Our paired 'sensitive' filters achieved 100% recall (95% CI 99.0 to 100%) in the validation set. Our paired 'precise' filters also had very good recall (97.6% [95%CI: 95.4 to 98.9%]). We estimate that, compared with our previous search strategy, using the paired 'sensitive' filters would reduce reviewer screening burden by a factor of 5 and the 'precise' versions would do so by a factor of more than 20.
CONCLUSIONS:
Each of the 3 paired cost-utility filters enable the identification of almost all CUAs from MEDLINE and Embase from the validation set, with substantial savings in screening workload compared to our previous search practice. We would encourage other researchers who regularly use multiple databases to consider validating search filters in combination as this will better reflect how they use databases in their everyday work.
