Trudno tylko po opisie efektów określić przyczynę niepowodzeń. Pytanie, czy Twój aparat posiada funkcję macro czyli możliwość ostrzenia z małej odległości.
Jeśli monety leżą na białej powierzchni światłomież również może zostać oszukany - wtedy należy zastosować korekcję ekspozycji.

Wyłącz lampę błyskową

Wykorzystaj okno, a po przeciwnej stronie monety białą kartkę. Niezbyt blisko tego okna bo nie będzie widać reliefu.

monety tez sie fajnawo skanuje w skanerach - poprobuj
Ja osobiscie skanera nie posiadam, ale wiem, ze calkiem ciekawie to wychodzi