자이랜드 AVM, K*시세·질로우 제쳤다… 정확도 2배 이상 높아

< English follows Korean >

< 이 게시물은 아파트, 오피스텔, 빌라 등 주택담보대출 평가업무에 자동가치산정모델(AVM), 이른바  K*시세를 쓰는 국내 대출회사를 위해 쓰여졌습니다.

자이랜드는 국토교통부 실거래가와 자이랜드의 AVM, K*시세를 각각 비교하는 정확도 테스트를 수행했습니다. 그 결과, 자이랜드의 AVM이 K*시세보다 2배 이상 높은 예측 정확도를 얻어내고 있음을 알 수 있었습니다.  

자이랜드는 최근 향상된 데이터 파이프라인 개발을 완료해 시중의 기존 모델들보다 우수한 결과를 도출했으며, 고객들에게 새로운 AVM을 배포할 준비가 되었음을 자랑스럽게 알리는 바입니다. >

아파트

2023년 9월 21일, 자이랜드는 K*시세의 아파트 AVM을 대상으로 자사의 아파트 AVM을 테스트한 결과, 부동산이 과대평가되는 빈도와 평가된 부동산의 총 가치 측면에서 K*시세가 자이랜드에 비해 더 높은 수준으로 과대평가하는 것으로 나타났습니다.

자이랜드는 2023년 8월 1일부터 8월 31일까지 기록된 아파트 거래 19,995건을 무작위로 추출하여 다음과 같은 결과를 도출했습니다. 이 데이터는 2023년 8월 27일 K*시세에서 수집되었습니다.

1. K*시세의 아파트 시세가 국토교통부 실거래가 대비 10% 이상 과대평가된 금액은 총 약 1735억원으로, 자이랜드의 아파트 AVM 시세보다 약 1105억원 더 높았습니다.

K*시세는 자이랜드의 아파트 AVM과 비교했을 때 대한민국 전 지역에서 자이랜드보다 과도하게 아파트를 과대평가하고 있는 경향을 보였습니다.

2. K*시세의 AVM은 국토교통부의 아파트 실거래가 대비 10% 이상 과대평가된 사례가 3,427건인 반면, 자이랜드의 AVM은 국토교통부 아파트 실거래가 대비 10% 이상 과대평가된 사례는 1,657건에 불과했습니다.

3. 자이랜드의 아파트 AVM은 전국 아파트 거래 시 실거래가에 더 근접한 시세를 제공하면서 K*시세 대비 2배 이상 높은 정확도를 기록했습니다. 이는 MdAPE(Median Error Rate, 절대 백분율 오차의 중앙 값)를 평가하여 측정되었습니다.

4. 그뿐만 아니라 자이랜드의 아파트 AVM은 기록된 거래 가격과의 차이가 10% 이내인 가치 평가를 더 높은 확률로 제공하는 것으로 나타났습니다.

• 예를 들어, 경기도 내의 아파트 감정평가 10건 중에서 자이랜드는 9건의 평가를 정확하게 제공하여, 오차율이 10% 미만이었으며 실제 거래 가격과 10% 내외로 일치했습니다. 그에 반해, K*시세는 이 중 8건의 정확한 감정평가를 제공한 것으로 나타났습니다.

자이랜드는 어떻게 이것을 계산하였는가? 

“경기도 부천시 중동 1185-2번지”, 17층, 전용면적이 102 m2인 물건지를 보면

• K*시세의 AVM은 이 아파트의 가치를 6.55억원으로 추정하였지만, 실제로는 4억원에 거래가 기록되었음을  확인했습니다. K*시세는 이 물건지를 실거래가 대비 63.8%, 금액적으로는 2.55억원을 더 높게 평가했음을 볼 수 있습니다.
• 자이랜드의 AVM은 약 4.06억원으로 평가했으며, 이 수치는 실거래가 대비1.6% 높게 평가했음을 볼 수 있습니다.

여러 매체를 통해 전세사기의 주요 원인이 부동산 과대평가에 있다고 보도된 바 있습니다:

“전세사기의 출발은 부풀려진 주택가격입니다…” (전세 사기 도운 감정평가사에 손해배상 요구를).

“이들은 2021∼2022년 수도권 지역 빌라와 오피스텔 등 주택 280채를 실제 매매가보다 30% 가량 높은 가격에 매매계약을 작성하고, 세입자들로부터 부풀린 시세대로 전세보증금을 받은 후 차액을 나눠 가졌다.” (‘업 계약서’ 통해 깡통주택 280채 유통···울산경찰, 사기조직 91명 검거).

현재 자이랜드의 아파트 AVM 평가 및 가격 예측 데이터베이스에는 전국에 분포된 1,166만 가구가 포함되어 있습니다.

한국의 주택 담보대출을 취급하는 대출기관 및 금융기관에 대한 시사점

K*시세는 현재 무료로 제공되고 있는 서비스이지만, 대출기관들은 이 “무료 서비스”를 이용하기 위해 지불하고 있는 실질적인 대가에 대해 자문 해봐야 합니다. 과대평가된 몇몇 부동산의 가치는 수억 원에 달하는 과대평가된 대출금과 맞먹을 수 있습니다.

특히 금리 변동성이 높아질 경우, 주택 담보대출을 받은 사람들의 연체율이 급증하고 부실채권이 증가할 가능성이 높아져 위험합니다 (5대은행 건전성 ‘비상’…상반기에만 부실채권 2.2조원 털어냈다, 부실채권 5000억 털고도…지방銀 건전성 ‘악화일로’). 

부동산 대출을 취급하는 금융 회사들은 변동적인 시장 조건 및 금리의 변동성을 고려할 때, 잠재적으로 부동산을 과대평가하고 고객에게 더 많은 대출을 제공하는 결정과 관련된 위험을 완화하고 효과적으로 관리해야 합니다. 

집을 구하려는 계획이 있다면 관심 가지고 봐야 되는 이유

주택 평가는 매매/전세 과정의 중요한 부분입니다.

만약 한국에서 집을 구하려고 한다면, 보통은 은행이나 다른 대출업체로부터 돈을 빌려야할 것입니다. 만약 그 은행이나 대출업체가 K*시세와 같이 정확하지 않은 서비스를 사용하여 이에 기반으로 대출을 제공한다면, 여러분은 잠재적 대출자로서 받을 수 있는 금액에 좋지 않은 영향을 받을 수 있습니다.

자이랜드의 한 사례와 국내의 유사한 AVM 서비스를 비교한 실제 사례 연구는 아래와 같습니다.

정확도가 떨어지는 서비스로 여러분의 집의 가치를 산정한다면, 여러분은 구매자 또는 판매자로써 어떠한 결과를 직면하게 될 지 알고 있어야 합니다. 은행에서 자산 가치를 평가하는 경우 은행에 어떤 서비스를 사용하고 있는지, 정확성이나 서비스를 테스트하는 방법, 대출 금액을 결정하는 데 사용되는 샘플 크기가 몇 개인지 물어보는 것이 좋습니다. 여러분들은 위와 같은 내용들을 검토한다면 해당 부동산에 대한 가능한 가장 정확한 평가를 받을 수 있다고 확신할 수 있습니다.

서비스의 정확도와 테스트 방법론(샘플 크기)을 투명하게 공개하지 않는 AVM 서비스는 해당 모델의 정확도에 대한 확신이 부족하거나 AVM의 정확도를 파악할 수 있는 도메인 지식이 부족해서 일 수 있습니다.

오피스텔

2023년 9월 21일, 자이랜드는 K*시세의 오피스텔 AVM을 대상으로 자사의 오피스텔 AVM을 테스트한 결과, 부동산이 과대평가되는 빈도와 평가된 부동산의 총 가치 측면에서 K*시세가 자이랜드에 비해 더 높은 수준으로 과대평가하는 것으로 나타났습니다.

자이랜드는 2023년 8월 1일부터 8월 31일까지 기록된 오피스텔 거래 670건을 무작위로 추출하여 다음과 같은 결과를 도출했습니다. 이 데이터는 2023년 9월 20일 K*시세에서 수집되었습니다.

1. K*시세의 오피스텔 시세가 국토교통부 실거래가 대비 10% 이상 과대평가된 금액은 총 약 47억원으로, 자이랜드의 오피스텔 AVM 시세보다 약 38억원 더 높았습니다.

K*시세는 자이랜드의 오피스텔 AVM과 비교했을 때 국내 대부분의 지역에서 자이랜드보다 과도하게 오피스텔을 과대평가하고 있는 경향을 보였습니다.

2. K*시세의 AVM은 국토교통부의 오피스텔 실거래가 대비 10% 이상 과대평가된 사례가 170건인 반면, 자이랜드의 AVM은 국토교통부 오피스텔 실거래가 대비 10% 이상 과대평가된 사례는 46건에 불과했습니다.

3. 자이랜드의 오피스텔 AVM은 전국 오피스텔 거래 시 실거래가에 더 근접한 시세를 제공하면서 K*시세 대비 약 2배 높은 정확도를 기록했습니다. 이는 MdAPE(Median Error Rate, 절대 백분율 오차의 중앙 값)를 평가하여 측정되었습니다.

4. 그뿐만 아니라 자이랜드의 오피스텔 AVM은 기록된 거래 가격과의 차이가 10% 이내인 가치 평가를 더 높은 확률로 제공하는 것으로 나타났습니다.

위에 언급한  K*시세 및 2023년 8월 거래 건에 대한 외부 벤치마크 테스트와 더불어, 자이랜드는 2023년 8월에 거래된 1,642건의 오피스텔 거래 건을 대상으로 훨씬 더 큰 규모의 내부 테스트를 수행했습니다. 자이랜드는 오피스텔 AVM의 성능을 월스트리트 은행 (Wall Street banks)에 AVM 데이터를 제공하는 미국 기반 AVM 제공업체 하우스캐너리 (HouseCanary), 그리고 주택 매매 및 임대를 원하는 소비자를 유치하기 위한 마케팅 도구로 AVM을 활용하는 소비자 대상 MLS인 질로우 (Zillow)와 비교했습니다.
자이랜드의 AVM은 질로우 (Zillow)의 AVM보다 하우스캐너리 (HouseCanary)의 AVM에 더 가까운 성능을 보입니다.

출처: HouseCanary Accuracy, Zillow Zestimate 

현재 자이랜드의 오피스텔 AVM 평가 및 가격 예측 데이터베이스에는 전국에 분포된 1196만 가구가 포함되어 있습니다.

빌라 (연립주택, 다세대주택), 도시형 생활주택

자이랜드는 2023년 8월 1일부터 8월 31일까지 기록된 721개 랜덤 빌라형 “도시형 생활주택” 거래 외에도 2,663개 랜덤 빌라형 “연립주택,” “다세대주택” 거래를 표본 추출하여 다음과 같은 결과를 도출하였습니다 (2000년 이후에 지어진 신축 빌라의 경우 1,544건, 1999년 이전에 지어진 빌라의 경우 1119건이 거래되었습니다).

2000년 1월 1일 이후 건설된 주택을 대상으로 하는 자이랜드의 “연립주택”과 “다세대주택” AVM은 질로우 (Zillow)의 AVM보다 하우스캐너리 (HouseCanary)의 AVM에 더 가까운 성능을 보입니다.

2000년 1월 1일 전 건설된 주택을 대상으로 하는 자이랜드의 “연립주택”과 “다세대주택” AVM은 하우스캐너리 (HouseCanary)의 AVM보다 질로우 (Zillow)의 AVM에 더 가까운 성능을 보입니다.

자이랜드의 “도시형 생활주택” AVM은 질로우 (Zillow)의 AVM보다 하우스캐너리 (HouseCanary)의 AVM에 더 가까운 성능을 보입니다.

자이랜드의 “연립주택”과 “다세대주택” AVM 및 가격 예측 데이터베이스에는 현재 전국에 약 226만 호의 주택 정보가 포함되어 있습니다. 또한, 자이랜드의 “도시형생활주택” AVM 및 가격 예측 데이터베이스에도 동일하게 전국에 분포된 66만1200호쯤 가구가 포함되어 있습니다.

Conclusion

이 테스트의 자세한 결과를 확인하고 싶으시거나 자이랜드의 AVM을 이용하여 회사 데이터를 테스트를 희망하시는 경우, 귀하의 신상 정보와 회사 정보, 희망하는 테스트 일정 등을 contact@xai.land로 보내주시기 바랍니다.

---

XAI Land AVM outperforms K*시세·Zillow…More than twice as accurate

< This blog post is for any lending companies in South Korea who use another Automated Valuation Model (AVM) named K*시세 for their mortgage valuation work for apartments, officetels, and villas.

Various accuracy tests were performing comparing XAI Land’s AVM and K*시세 against what real transaction prices were recorded as indicated in the Ministry of Land, Infrastructure and Transport transactions database (실거래가 공개시스템).

The reason we’re running these tests is to let our customers know that we’ve developed an important tool called a data pipeline, which has yielded even better results than last year’s results and that XAI Land’s new AVM is ready for commercial use. >

Apartments 

On September 21, 2023, XAI Land tested its apartment AVM against K*시세’s apartment AVM and found that K*시세 over-values real estate more significantly than XAI Land in terms of the frequency in which real estate is overvalued and total value of real estate that is valued.

XAI Land sampled 19,995 random apartment transactions that were recorded from August 1 to August 31, 2023 to determine the following results. Data was gathered from K*시세 on September 27, 2023.

1. The total value in which K*시세’s AVM overvalued apartments in South Korea by more than 10% of their actual transaction prices from MOLIT totalled 173 billion KRW, which is 110 billion KRW more in value than XAI Land’s apartment AVM.

K*시세 overvalued apartments in excess than XAI Land in all regions of South Korea compared to XAI Land’s apartment AVM.

2. K*시세 recorded 3,427 instances where their AVM over-valued MOLIT transaction prices by more than 10% whereas XAI Land’s AVM only had 1,657 instances of over-valuing MOLIT apartment transactions by more than 10%.

3. XAI Land’s apartment AVM was recorded as being twice as more accurate than K*시세 as XAI Land’s apartment AVM delivered valuations that were closer to what real transacted values were when transactions throughout the country. This measurement is recorded by assessing the MdAPE (Median Error Rate).

4. XAI Land’s apartment AVM also had a higher probability of providing a valuation that was within a price difference of 10% of what recorded transaction prices were recorded as.

• For example, for every 10 apartment valuations in Gyeonggi-do that are provided, XAI Land provided 9 valuations that were accurate, meaning they had an error rate of less than 10% and were within 10% of what a real transaction price was recorded. Whereas, K*시세 only provided 8 valuations that were accurate.

How did XAI Land calculate this? 

Let’s look at an apartment located at “경기도 부천시 중동 1185-2번지” on the 17th floor, whose gross floor area (전용면적) is 102 square meters:

• K*시세’s AVM estimated this apartment was valued at 655,000,000 KRW, when in fact a real transaction was recorded at the property for 400,000,000 KRW. K*시세 over-valued this apartment by 63.8% of the real transaction value by 255,000,000 KRW.
• For this same apartment, XAI Land’s AVM estimated 406,500,000 KRW, which is only 1.6% above what the real transacted value was. 

It has been reported by various news outlets that the key enabler of Jeonse fraud is an over-valuation of real estate:

“Jeonse fraud starts with inflated home prices…” (전세 사기 도운 감정평가사에 손해배상 요구를).

“In 2021 and 2022, they (fraudsters) wrote purchase and sale contracts for 280 houses, including #villas 연립/다세대 ) and #officetels (오피스텔 ), in the Seoul metropolitan area at prices about 30 percent higher than the actual sale price, collected rental deposits from tenants at inflated market prices, and split the difference.” (‘업 계약서’ 통해 깡통주택 280채 유통···울산경찰, 사기조직 91명 검거).

Currently, XAI Land’s database for apartment AVM valuations and price predictions includes 11.66 million spread out throughout the country.

Implications of these results for lenders and financial institutions dealing with mortgage products in South Korea

K*시세 is currently a service that’s being provided to the public for free, but lenders should ask themselves – what price are you truly paying to use a “free service”? The value of a few properties that are over-valued can be equivalent to several hundreds of millions of Korean won in over-valued loans. 

This is especially risky when interest rates are volatile as this has led to a rise in bad debt due to soaring delinquency rates among those taking out mortgages (5대은행 건전성 ‘비상’…상반기에만 부실채권 2.2조원 털어냈다, 부실채권 5000억 털고도…지방銀 건전성 ‘악화일로’). 

Financial companies dealing with real estate loans should mitigate and manage risk associated with over-valuing real estate and giving more money than potentially risky borrows may be able to handle given volatile market conditions and interest rates. 

Why You Should Care as a Homebuyer or Seller

Home valuation is a critical part of the buying and selling process.

If you’re looking to buy a home in South Korea you will likely need a mortgage from a bank or another lender. If that bank or lender may use a service that is not as accurate as XAI Land, such as K*시세, then it is highly likely that when you visit that lender they might be providing you an incorrect valuation that will impact how much you as a potential borrower may receive. 

For home sellers, home valuation is important because you want to make sure you can sell your home in a timely manner for the true value of what it is really worth. If a real estate broker, bank, or other consultant may use an online valuation tool such as K*시세 or another tool that is not as accurate as XAI Land then you could be getting a valuation that will negatively impact how much you could earn for your property. 

A real case study comparing one example from XAI Land and a similar domestic AVM service in South Korea is shown below.

If services that lack accuracy value your home, you should be aware of what consequences you may face as a buyer or seller. If you get your property valued by a bank, it would be highly recommended to ask them what service they’re using, how they’re testing the accuracy or the service, how many sample sizes they’re using to determine results so you as a customer can feel confident that you are receiving the most accurate and unbiased valuation possible.

AVM services that do not transparently disclose the accuracy of their services and their testing methodology (sample size) may be due to a lack of confidence in the accuracy of their models or a lack of domain knowledge to determine the accuracy of AVMs.

Officetels

On September 21, 2023, XAI Land tested its officetel AVM against K*시세’s officetel AVM and found that K*시세 over-values real estate more significantly than XAI Land in terms of the frequency in which real estate is overvalued and total value of real estate that is valued.

XAI Land sampled 670 random officetel transactions that were recorded from August 1 to August 31, 2023 to determine the following results. Data was gathered from K*시세 on September 20, 2023.

1. The total value in which K*시세’s AVM overvalued officetels in South Korea by more than 10% of their actual transaction prices from MOLIT totalled 4.7 billion KRW, which is 3.8 billion KRW more in value than XAI Land’s officetel AVM.

K*시세 overvalued officetels in excess than XAI Land in most regions of South Korea compared to XAI Land’s officetel AVM.

2. K*시세 recorded 170 instances where their AVM over-valued MOLIT transaction prices by more than 10% whereas XAI Land’s AVM only had 46 instances of over-valuing MOLIT apartment transactions by more than 10%.

3. XAI Land’s officetel AVM was recorded as being almost more than twice as more accurate than K*시세 as XAI Land’s officetel AVM delivered valuations that were closer to what real transacted values were when transactions throughout the country. This measurement is recorded by assessing the MdAPE (Median Error Rate).

4. XAI Land’s officetel AVM also had a higher probability of providing a valuation that was within a price difference of 10% of what recorded transaction prices were recorded as.

In addition to the external benchmark test outlined above against K*시세 and transactions in August 2023, XAI Land conducted an internal test against a much larger sample size of 1,642 officetel transactions that were made in August 2023. We compared our officetel AVM’s performance to US-based AVM providers, HouseCanary, an AVM firm that provides their AVM data to Wall Street banks and Zillow, a consumer-facing MLS that utilizes its AVM as a marketing tool to attract consumers looking to buy or rent a home. 

XAI Land’s AVM performs closer to HouseCanary’s AVM more so rather than Zillow’s AVM. 

Source: HouseCanary Accuracy, Zillow Zestimate 

Currently, XAI Land’s officetel AVM and price prediction database includes 1.19 million units spread across the country.

Villas (row-houses, multiplex housing), Urban living housing 

XAI Land sampled 2,663 random villa-type “row house” (연립주택) and “multiplex housing” (다세대주택) transactions (1,544 transactions for newer villas that were built in 2000 or after and 1119 transactions for villas that were built in 1999 or earlier) in addition to 721 random villa-type “urban living housing” (도시형 생활주택) transactions that were recorded from August 1 to August 31, 2023 to determine the following results.

XAI Land’s “row house” (연립주택) and “multiplex housing” (다세대주택) AVM that values units built anytime from January 1, 2000 performs closer to HouseCanary’s AVM more so rather than Zillow’s AVM. 

XAI Land’s “row house” (연립주택) and “multiplex housing” (다세대주택) AVM that values units built anytime from December 31, 1999 performs closer to Zillow’s AVM more so rather than HouseCanary’s AVM. 

XAI Land’s “urban living housing” (도시형 생활주택) AVM performs closer to HouseCanary’s AVM more so rather than Zillow’s AVM. 

Currently, XAI Land’s villa-type “row house” (연립주택) and “multiplex housing” (다세대주택) AVM and price prediction database includes 2.26 million units, while XAI Land’s villa-type “urban living housing” AVM and price prediction database includes 661,200 units spread across the country.

Conclusion

If you may wish to test XAI Land’s enhanced AVM solution to verify the results of this test or to conduct your own internal testing, please email XAI Land at (contact@xai.land) with a brief explanation of who you are, your organization, and when you may wish to test XAI Land’s AVM solution.