Vůbec nejstarší památkou nalezenou na území Velké Skrovnice je kamenný sekeromlat (kamenný nástroj k obdělávání půdy, který používali nejstarší zemědělci) z doby kolem roku 3000 před Kristem. Z dalších dob však žádné nélezy nejsou, a proto nelze z tohoto ojedinělého nálezu usuzovat na soustavnější osídlení území dnešní Velké Skrovnice v této prehistorické době, i když v jejím šírším okolí je osídlení doloženo (např. nálezy z doby bronzové v Koldíně).
Skutečné počátky dnešní Velké Skrovnice je nutno klást až do 13. století, kdy dochází k masivnějšímu osídlování kraje na rozvodí Tiché a Divoké Orlice mezi dnešní Chocní a Českými Libchavami, které začal organizovat význačný český šlechtic z počátku 13. století Kojata Hrabišic. Jelikož neměl dědice, postoupil v roce 1227 nově založené vsi členům své družiny, kteří podle závěti měli pokračovat v zakládání nových vsí. U počátku Skrovnice stáli nejspíše potomci Kojotova družiníka Osla, který dostal vsi Loukoť (dnes západní část Brandýsa nad Orlicí) a Olešnou, která je nejstarším písemně doloženým sídlištěm v okolí Skrovnice.
První písemný doklad existence Skrovnice je však až z roku 1371, kdy část vsi spolu s příslušenstvím v dalších vsích patřily Otovi z Olešné, který byl pravděpodobně potomkem zmíněného Osla. Pokud jde o jméno vsi, název Skrovnice asi původně náležel potoku, na kterém ves vznikla (horní tok Brodce) a vyjadřoval, že se jedná malý, úzký vodní tok. Z potoka potom jméno přešlo i na ves, která na něm vznikla. Pokud jde o zaměření obce, Skrovnice byla obcí hrnčířskou, což dokazují nálezy hliněných nádob, střepů a hrnčířské pece.
V roce 1389 zmíněný Ota z Olešné zemřel a jeho majetek připadl jako odúmrť králi Václavovi IV, který jej v roce 1392 daroval zemanovi z Rychnovska, Hynkovi ze Slemene. Další zprávy o tomto majetku nejsou, ale zřejmě se stal součástí některého z dílů Skrovnice (viz. dále).
V této době někteří z obyvatel Skrovnice studovali v Praze na kněze, což ve venkovském prostředí nebyl tehdy běžný jev. Je doloženo, že v roce 1395 byl v chrámu sv. Víta na Pražském hradě byl vysvědcen na kněze Jan Václav ze Skrovnice a Petr Václav ze Skrovničky.
Jak již bylo zmíněno Skrovnice napatřila uvedenému zemanskému roku z Olešné celá, ale jen její část a ostatní části měli jiné majitele. To souviselo pravděpodobně s tím, že zakládání poměrně velkých vsí (jakou Skrovnice podle rozsahu orné půdy byla) bylo nad síly drobné šlechty a tak se na vybudování vsi podíleli pravděpodobně i majitelé okolních panství z řad vyšší šlechty (majitelé Brandýsa, páni z Brandýsa pocházejíci pravděpodobně ze saského Brandisa a majitelé Potštejna, západočeští Půtici) a díly vsí si potom ponechali. V dalším období proto docházelo ke změnám majitelů částí vsi a jejich dalšímu dělení. Tak složitý vývoj jako středověká Skrovnice prožívalo skutečně jen málo českých vsí. Výsledkem tohoto vývoje nakonec bylo, že v 17. století se definitivně ustálilo rozdělení vsi na tři díly a v souvislosti s tím se vytvořily ve vsi tři rychty (brandýská, jelenská resp. doudlebská, orlokostelecká) se třemi rychtáři, kteří se ve věcech celé Skrovnice museli dohadovat. Další osud jednotivých dílů středověké Skrovnice byl rovněž velmi komplikovaný a jeho popis by byl značně dlouhý, a proto si dovolím tuto etapu dějin vynechat.
V roce 1836 podle Sommerovy Topografie měla Velká Skrovnice (jako část obce) celkem 80 domů (48 jelenská část, 17 orlokostelecká část, 15 brandýská část) a 438 obyvatel (263 jelenská část, 93 orlokostelecká část, 82 brandýská část). Malá Skrovnice měla 25 domů (4 jelenská část, 18 orlokostelecká část, 3 brandýská část) a 171 obyvatel (27 jelenská část, 124 orlokostelecká část, 20 brandýská část).
Roku 1850 došlo ke sloučení jednotlivých částí Velké i Malé Skrovnice a spolu s částí Rozsochy (ta vznikla až v 18. století) vytvořily jedinou tzv. politickou obec s vlastní samosprávou a názvem Velká Skrovnice, která byla připojena k okresnímu soudu v Kostelci nad Orlicí a Okresnímu hejtmanství v Rychnově nad Kněžnou. Po roce 1948 došlo u úpravě hranic okresů a tak připadla Velká Skrovnice na krátký čas k Vysokému Mýtu. Roku 1950 byla obec připojena k okresu Ústí nad Orlicí, kam patří i nyní. Po roce 1960 došlo k odtržení Rozsochy (její části) od Velké Skrovnice a jejímu připojení k Orlickému Podhůří (spojení obcí Říčky, Dobrá Voda, Rviště a Rozsocha) a toto uspořádání existuje dosud.
Skrovnice byl pravděpodobně nejprve název potoka protékajícího oběma Skrovnicemi (dnes Brodec). Název vyjadřoval, že se jedná o nevelký vodní tok.
Původní pečeť obce Skrovnice dochovaná v písemnostech farního úřadu v Sudslavě pochází pravděpodobně z přelomu 18. a 19. století nebo z první poloviny 19. století.
Pečeť měla v horní části osmihrotou hvězdu a pod ní velká písmena "WD". Hvězda připomíná pravděpodobně část erbovního znaku doudlebské vrchnosti, písmena "WD", iniciály tehdejšího rychtáře. Po horním obvodu pečeti byl nápis "Obec Skrownice", v dolní části byl vyobrazen pluh.
Znak pochází z roku 1938 a jeho návrh vytvořil A. Hrodek z Brna. Znak byl používán v razítku obce v letech 1938 až 1940 a dále po válce v letech 1948 až 1951. Potom již bylo užíváno razítko se státnim znakem.
Znak má v horní polovině půl koně, v dolní levé části džbán a v pravé radlici. Dle heraldické symboliky kůň znamená sílu vytrvalost, nebojácnost a moudrost. Současně připomíná, že byl v obci rozvinut chov koní. Džbán znázorňuje, že Skrovnice byla stará hrnčířská obec a rádlo symbolizuje zemědělské zaměření obyvatel obce.
Další informace o obci a její historii lze nalézt v publikaci A. Harapátová, F. Musil - "Velká Skrovnice její historie a současnost".