По опыту эксплуатации Vsat систем, могу уверенно заявить, что передатчики (тракты) по схеме модулятор ПЧ70мГц- Up конвертор ПЧ950-1450мГц-Up конвертор 14ГГЦ-УМ, даже произведенные в 80х годах (импортные) для частотной модуляции, можно успешно использовать для работы с модуляциями от BPSK до 16QAM, есть конечно некоторые ограничения по фазовым шумам, стабильности и т.д, но это детали,. BackOff для вакумных приборов порядка минус 7дБ, для полупроводниковых 3Дб. Посему никто не запрещает использовать старую литературу. Основные требования к передатчику ИМХО -линейность и интермодуляция. Почитайте литературу по требованиям к выходным каскадам передатчиков работающих с цифровыыми сигналами и в соответствии с данными рекомендациями считайте передатчик. С приемником все еще проще, как писал уже, фазовые шумы и стабильность гетеродина не ниже 10% от полосы сигнала. Полосы у вас широкие как я понял, проблем быть не должно.
Все это из опыта, может и не прав, тогда поправьте.