Smrtí Konráda II roku 1192 vymřeli hrabata z Raabsu. Rozhodujícími nositeli kolonizace této krajiny se na necelých čtyřicet let stali Zöbingové s rozsáhlým majetkem v Rakousku..Jelikož počátkem 13. století byla Bystřice ještě nepříliš významnou osadou, soustředili se Zöbingové na výstavbu Landštejna coby svého fojtského sídla (prvně připomínán r.1232).V listině z roku 1207 je též poprvé zmiňována osada Mnich (Munusloh, Munichschlag) nedaleko Vistrice. O založení jiných osad v okolí v průběhu 13. století není nic známo.V nejistém období bez vlády císaře se zřejmě kolonizace zpomalila a zpráv z tohoto období je pomálu. Po hrabatech ze Zöbingu následovali Weikertschlagerové, dále hrabata Hirschbergerové a hrabata von Plain-Hardegg z okolí Salzburgu. Poté, co oba bratři Otto a Konrád von Plain-Hardegg padli v boji proti Maďarsku, dal král Ottokar II celé raabské panství v léno zasloužilému vojevůdci Vokovi Rožmberkovi.

Když roku 1276 Rudolf Habsburský vdával svou dceru za syna Ottokara II, dal jí věnem 240 000 marek stříbra (1 marka stříbra znamenala 283g jemného stříbra neboli 240 ražených feniků) a ona na oplátku obdržela v zástavu různá území, m.j.i Bystřicko. Pakliže by neměli dědice, měla tato území připadnout české koruně. Tak se i stalo roku 1282, kdy došlo k oddělení bystřického a landštejnského panství od Rakouska.Tehdy se však tím mnoho nezměnilo, neboť obě země, Čechy i Rakousko, byly říšskými lény. Bystřice byla v té době ještě vsí, i když už zřejmě nejdůležitější v okolí. Nejpozději kolem roku 1280 se u potoka nad vesnicí započalo s výstavbou zámku a nového plužního dvora. Sedláci tehdy žili skromně a věci každodenní potřeby získávali v blízkém okolí. Sůl byla dovážena od Salzburgu, víno od Dunaje a dávky se platily většinou v naturáliích. Oficiálním platidlem byl vídeňský fenik, malá stříbrná mince, dražší věci se platívaly koženým pytlíkem s 240 mincemi, což byla tzv. jedna marka stříbra.