Restricted ROC
Introduction Video
Abstract
Immunological diseases are typically heterogeneous in clinical presentation, severity and response to therapy. Biomarkers of immune diseases often reflect this variability, especially compared to their regulated behaviour in health. This leads to a common difficulty that frustrates biomarker discovery and interpretation - namely, unequal dispersion of immune disease biomarker expression between patient classes necessarily limits a biomarker's informative range. To solve this problem, we introduce dataset restriction, a procedure that splits datasets into classifiable and unclassifiable samples. Applied to synthetic flow cytometry data, restriction identifies biomarkers that are otherwise disregarded. In advanced melanoma, restriction finds biomarkers of immune-related adverse event risk after immunotherapy and enables us to build multivariate models that accurately predict immunotherapy-related hepatitis. Hence, dataset restriction augments discovery of immune disease biomarkers, increases predictive certainty for classifiable samples and improves multivariate models incorporating biomarkers with a limited informative range. This principle can be directly extended to any classification task.
Purpose of this app
This app demonstrates the utility of dataset restriction for biomarker discovery in immune diseases. It is targeted at (bio)medical researchers and data scientists to have a userfriendly tool to explore dataset restriction in their own data.
The app allows you to identify significant differences in measured variables (e.g. gene expression, weight, age, ...) between two classes of samples (diseased/healthy, treatment/control, ...). It returns significantly different variables and their informative range - the range in which the variable is significantly different between the classes.
This app is limited to a low number of permutations to keep the runtime reasonably low. This affects only resulting p-values but neither the ROC curve nor the AUC calculations. If you need to calculate more permutations, please use the R package - after you did the analysis here on the app you can download a working R script.
Data usage
The data you upload will not be stored or used for any other purpose than the analysis in this app. Only you can access the data within this session, it is deleted if the website is reloaded or closed. If you have concerns about data privacy, feel free to use our R-package directly.
References
Glehr, G., Riquelme, P., Kronenberg, K. et al. Restricting datasets to classifiable samples augments discovery of immune disease biomarkers. Nat Commun 15, 5417 (2024). https://doi.org/10.1038/s41467-024-49094-3
Glehr, G. Restricting samples to informative feature ranges. Github (2025). https://github.com/ggrlab/restrictedROC
Dataset references
The example data used in this app is based on the following publications:
Glehr, G. et al. External validation of biomarkers for immune-related adverse events after immune checkpoint inhibition. Front. Immunol. 13:1011040. (2022) https://doi.org/10.3389/fimmu.2022.1011040
Harel, M. et al. Proteomics of Melanoma Response to Immunotherapy Reveals Mitochondrial Dependence. Cell 179, 236-250.e218 (2019). https://doi.org/10.1016/j.cell.2019.08.012
Lee, K. A. et al. Cross-cohort gut microbiome associations with immune checkpoint inhibitor response in advanced melanoma. Nat. Med 28, 535-544 (2022). https://doi.org/10.1038/s41591-022-01695-5
Zhang, Z. et al. Integrated analysis of single-cell and bulk RNA sequencing data reveals a pan-cancer stemness signature predicting immunotherapy response. Genome Med 14, 45 (2022). https://doi.org/10.1186/s13073-022-01050-w
Lozano, A.X. et al. T cell characteristics associated with toxicity to immune checkpoint blockade in patients with melanoma. Nat Med 28, 353-362 (2022). https://doi.org/10.1038/s41591-021-01623-z
Madill-Thomsen KS, Abouljoud M, Bhati C, et al. The molecular phenotypes of injury, steatohepatitis, and fibrosis in liver transplant biopsies in the INTERLIVER study. American Journal of Transplantation. 2022;22(3):909-926. https://doi.org/10.1111/ajt.16890
Acknowledgements
This work was performed from the Hutchinson Group in the context of developing computational methods for biomarker discovery and immune profiling. Our research emphasizes translational applications of immune profiling, integrating high-dimensional flow cytometry and single-cell data to improve the patient care.
We sincerely thank the patients who participated in the studies that provided the data for this application. Their contributions were essential to advancing biomarker discovery and improving our understanding of immune-related diseases. We also gratefully acknowledge the support of the funding agencies that made this research possible.
In particular, this work was supported by the German Federal Ministry of Education and Research (BMBF) through the dataXperiment program (Grant No. 01KD2423).
Welcome to the Restriction Analysis Tool
This tool is designed to help you analyze the relationships between dependent and independent variables in your dataset.
Discrimination of
by restricting
Results
Note:We calculate p-values through permutation tests which is computationally intensive. If restriction visibly restricted your informative range (shaded area), we recommend using our R package for more permutations to get a reliable p-value. Too few permutations often lead to false negative results!
Restricted values
Restriction potentially limits values to the informative range, here you can download the relevant, applied data. Note that only features where restriction was previously calculated can be restricted and downloaded here.
Download zip of R script and currently loaded dataCombined Distribution
Distributions List
Impressum und Datenschutzerklaerung
Anbieterkennzeichnung gemaess Digitale-Dienste-Gesetz (DDG):
Gunther Glehr
Franz-Josef-Strauss-Allee 11
93053 Regensburg
Kontakt:
E-Mail: gunther.glehr@klinik.uni-regensburg.de
Telefon: 0941 944-6961
Verantwortlich fuer den Inhalt:
Gunther Glehr
Franz-Josef-Strauss-Allee 11
93053 Regensburg
Haftungsausschluss
Die Inhalte dieser Website wurden mit groesster Sorgfalt erstellt. Fuer die Richtigkeit, Vollstaendigkeit und Aktualitaet der Inhalte uebernehmen wir keine Gewaehr. Die Nutzung der Inhalte erfolgt auf eigene Gefahr. Diese Website dient ausschliesslich Forschungszwecken.
Haftung fuer Links
Diese Website kann Links zu externen Websites Dritter enthalten. Fuer die Inhalte dieser externen Websites uebernehmen wir keine Haftung, da wir auf deren Inhalte keinen Einfluss haben. Verantwortlich ist stets der jeweilige Betreiber.
Urheberrecht
Die Inhalte dieser Website unterliegen dem deutschen Urheberrecht. Eine Verwendung ausserhalb der Grenzen des Urheberrechts bedarf der schriftlichen Zustimmung des Autors.
Datenschutzerklaerung gemaess DSGVO und DDG
Erfassung und Verarbeitung von Daten
Automatisch erfasste Daten
Beim Zugriff auf diese Website werden automatisch folgende Daten erfasst:
- IP-Adresse
- Datum und Uhrzeit des Zugriffs
- Browsertyp und -version
- Betriebssystem
Diese Daten dienen der Sicherstellung eines reibungslosen Betriebs der Website und der Verbesserung des Angebots.
Daten-Uploads (CSV-Dateien und Daten aus der Zwischenablage)
Diese Website ermoeglicht Nutzern, CSV-Dateien hochzuladen oder Daten aus der Zwischenablage einzufuegen. Die dabei hochgeladenen Daten werden:
- Nicht dauerhaft gespeichert: Die Verarbeitung erfolgt nur temporaer fuer den Zweck, fuer den sie hochgeladen wurden.
- Lokal verarbeitet: Die Daten werden weder an Dritte weitergegeben noch auf externen Servern gespeichert.
Bitte laden Sie keine sensiblen oder personenbezogenen Daten hoch, es sei denn, dies ist ausdruecklich notwendig und Sie haben die entsprechenden Rechte und Einwilligungen eingeholt.
Rechte der betroffenen Personen
Sie haben das Recht auf:
- Auskunft (Art. 15 DSGVO)
- Berichtigung (Art. 16 DSGVO)
- Loeschung (Art. 17 DSGVO)
- Einschraenkung der Verarbeitung (Art. 18 DSGVO)
- Datenuebertragbarkeit (Art. 20 DSGVO)
- Widerspruch gegen die Verarbeitung (Art. 21 DSGVO)
Beschwerderecht bei einer Aufsichtsbehoerde
Sie haben das Recht, sich bei einer Datenschutzaufsichtsbehoerde zu beschweren, wenn Sie der Ansicht sind, dass Ihre Daten unrechtmaessig verarbeitet werden.
Speicherdauer und Loeschung
Automatisch erfasste Daten
Die automatisch erfassten Daten werden spaetestens nach 30 Tagen anonymisiert oder geloescht.
Hochgeladene oder eingefuegte Daten
Die hochgeladenen oder eingefuegten Daten werden unmittelbar nach der Verarbeitung geloescht, sofern keine gesetzliche Aufbewahrungspflicht besteht.
Weitergabe von Daten
Es erfolgt keine Weitergabe an Dritte.
Kontakt bei Fragen zum Datenschutz
Fuer Anliegen zum Datenschutz kontaktieren Sie uns unter gunther.glehr@klinik.uni-regensburg.de.
aenderungen der Datenschutzerklaerung
Diese Datenschutzerklaerung kann sich aendern. Die aktuelle Version ist stets auf dieser Website abrufbar.
Technische Umsetzung
Diese Website wird in einer containerisierten Umgebung (z. B. Docker) betrieben, um eine sichere und effiziente Verarbeitung der Daten zu gewaehrleisten. Container ermoeglichen eine isolierte Verarbeitung, erhoehen die Skalierbarkeit und reduzieren potenzielle Sicherheitsrisiken. Hochgeladene Daten werden nur temporaer in der Laufzeitumgebung verarbeitet und nicht dauerhaft gespeichert.