Если ваша функция обратного вызова завершается неудачно, то установить код ошибки - ваша ответственность

Это перевод If your callback fails, it's your responsibility to set the error code. Автор: Реймонд Чен.

Есть много случаев, когда функции обратного вызова разрешается прервать операцию. Например, вы можете решить вернуть False в обработчике сообщения WM_NCCREATE, чтобы остановить создание окна, или же вы можете решить вернуть False в одной из функций обратного вызова для поиска, типа EnumWindowsProc. Когда вы делаете это, внешняя (по отношению к функции обратного вызова) функция просто передаст ваш признак провала (False) дальше по цепочке своему вызывающему: функция CreateWindow вернёт 0; а EnumWindows вернёт False.

Конечно же, когда такое случается, внешняя функция понятия не имеет, почему функция обратного вызова завершилась неудачей; всё, что она знает: она провалилась. Соответственно, она не может установить хоть какой-то имеющий смысл код ошибки, возвращаемый функцией GetLastError.

Если вы хотите получать что-то осмысленное от GetLastError, когда ваша функция обратного вызова останавливает операцию, то установить подходящий код (хотя бы ERROR_CANCELLED) с помощью функции SetLastError будет ответственностью вашей функции обратного вызова.

Это настолько очевидно, что я вообще не понимаю, почему это надо обсуждать; это поведение попадает в категорию объяснений "потому что компьютеры (пока) не обладают телепатией". Но, кажется, для кого-то это не кажется достаточно очевидным, поэтому я говорю это.