Das kommt ganz auf die Beeinträchtigung drauf an. Eine rot-grün Blindheit hat andere Anforderungen an Barrierefreiheit als zum Beispiel eine fast-Blindheit bei der ein weißer Hintergrund zu grell strahlt und deswegen Texte nur in weißer Schrift auf schwarzem Hintergrund gelesen werden können.
Blinde Menschen benötigen einen sauberen DOM Baum für die Screenreader und den entsprechenden aria-Tags für die semantische Struktur und Navigation mit Braillezeilen. Menschen mit motorischen Einschränkungen benötigen möglichst große Buttons und Links zum klicken.
Ich glaube nicht, dass man auf alles hin-optimieren kann. Ich glaube es gibt immer einen Mittelweg und Kompromiss. Der saubere DOM-Baum und die aria-Tags sind das, was sich am ehesten auch validieren lässt.