Литературы на тему вычисления матфункций много. Это раздел вычислительной математики, довольно популярный в СССР. У меня небольшая библиотечка есть на эту тему. Но постоянно же новые подходы появляются. Рассекречиваются трюки, применяемые в школах разных стран. Лучше обратиться к специалисту.

Не обязательно искать литературу конкретно по калькуляторам. Достаточно, чтобы алгоритм был для десятичной машины. Например, «цифра за цифрой». Вот здесь русский автор (общается на форуме) приводит алгоритмы, по его утверждению внедрённые в калькуляторы. А эта книга посвящена реализации алгоритмов прямо в ПЛИС.