Я пробовал при установке сразу выбирать проприетарный fglrx и с эффектами и без - после установки всё как выше описал на бета 1.(вообще все варианты перепробовал при установке, раз 10 переустанавливал :-)) и сверху ставил проприетарный, ничего не добился.
А раньше 10.9 и до 11 всё работало идеально.
P.S. Попробую 11.3, бету 2 и новый образ - отпишусь о результатах.