looking beyond general metrics for model comparison – lessons from an international model intercomparison study

más allá de las métricas generales para la comparación de modelos – lecciones de un estudio internacional de intercomparación de modelos

Clicks: 355
ID: 135516
2017
Article Quality & Performance Metrics
Overall Quality
Not rated
Combines reader engagement with the AI quality analysis. This article has not been analysed, so there is no overall score — reader engagement is measured and shown alongside.
AI Quality Assessment
Not analyzed
Readership in this journal
Emerging

Ranked #14 of 303 articles by views in materials research bulletin

Most read Least read

Bar heights use a square-root scale. Only the 120 most-read articles are drawn; the journal has 303 in total.

Mint this article as an NFT
Not yet minted

Create a permanent, verifiable on-chain record of this article on the Scimatic Network. The NFT is held in your Journament account, and you can withdraw it to your own wallet at any time.

5 SUSD one-off · no wallet required
Abstract
International collaboration between research institutes and universities is a promising way to reach consensus on hydrological model development. Although model comparison studies are very valuable for international cooperation, they do often not lead to very clear new insights regarding the relevance of the modelled processes. We hypothesise that this is partly caused by model complexity and the comparison methods used, which focus too much on a good overall performance instead of focusing on a variety of specific events. In this study, we use an approach that focuses on the evaluation of specific events and characteristics. Eight international research groups calibrated their hourly model on the Ourthe catchment in Belgium and carried out a validation in time for the Ourthe catchment and a validation in space for nested and neighbouring catchments. The same protocol was followed for each model and an ensemble of best-performing parameter sets was selected. Although the models showed similar performances based on general metrics (i.e. the Nash–Sutcliffe efficiency), clear differences could be observed for specific events. We analysed the hydrographs of these specific events and conducted three types of statistical analyses on the entire time series: cumulative discharges, empirical extreme value distribution of the peak flows and flow duration curves for low flows. The results illustrate the relevance of including a very quick flow reservoir preceding the root zone storage to model peaks during low flows and including a slow reservoir in parallel with the fast reservoir to model the recession for the studied catchments. This intercomparison enhanced the understanding of the hydrological functioning of the catchment, in particular for low flows, and enabled to identify present knowledge gaps for other parts of the hydrograph. Above all, it helped to evaluate each model against a set of alternative models.
La colaboración internacional entre institutos de investigación y universidades es una vía prometedora para alcanzar un consenso sobre el desarrollo de modelos hidrológicos. Si bien los estudios de comparación de modelos son sumamente valiosos para la cooperación internacional, a menudo no aportan nuevos conocimientos claros sobre la relevancia de los procesos modelizados. Planteamos la hipótesis de que esto se debe, en parte, a la complejidad de los modelos y a los métodos de comparación empleados, los cuales se centran en exceso en un buen rendimiento global en lugar de enfocarse en una variedad de eventos específicos. En este estudio, utilizamos un enfoque centrado en la evaluación de eventos y características específicas. Ocho grupos de investigación internacionales calibraron su modelo horario en la cuenca del Ourthe, en Bélgica, y llevaron a cabo una validación temporal para dicha cuenca y una validación espacial para cuencas anidadas y vecinas. Se siguió el mismo protocolo para cada modelo y se seleccionó un conjunto de las combinaciones de parámetros de mejor rendimiento. Aunque los modelos mostraron desempeños similares según métricas generales (es decir, la eficiencia de Nash–Sutcliffe), se observaron claras diferencias en eventos específicos. Analizamos los hidrogramas de estos eventos específicos y realizamos tres tipos de análisis estadísticos sobre la serie temporal completa: caudales acumulados, distribución empírica de valores extremos de los caudales pico y curvas de duración de caudales para caudales bajos. Los resultados ilustran la relevancia de incluir un reservorio de flujo muy rápido previo al almacenamiento en la zona radicular para modelizar los picos durante periodos de caudales bajos, así como de incorporar un reservorio lento en paralelo con el reservorio rápido para modelizar la recesión en las cuencas estudiadas. Esta intercomparación mejoró la comprensión del funcionamiento hidrológico de la cuenca, en particular para los caudales bajos, y permitió identificar las lagunas de conocimiento actuales para otras partes del hidrograma. Por encima de todo, contribuyó a evaluar cada modelo frente a un conjunto de modelos alternativos.
Reference Key
boer-euser2017hydrologylooking Use this key to autocite in the manuscript while using SciMatic Manuscript Manager or Thesis Manager
Authors
Journal materials research bulletin
Year 2017
DOI
10.5194/hess-21-423-2017
URL
Keywords

Citations

No citations found. To add a citation, contact the admin at info@scimatic.org

No comments yet. Be the first to comment on this article.