복지학과, 사회복지사 시험 등 가족생활교육 요점 정리 30. 가족생활교육 프로그램 평가의 유형

30. 가족생활교육 프로그램 평가의 유형

1. 형성평가와 총괄평가

 

1) 형성평가
- 프로그램 운영 도중에 이루어지는 평가로 프로그램 수행과정에서 문제점을 발견하여 프로그램 수정 및
보완을 목적으로 이루어지는 평가
- 형성평가에서 평가자가 관심을 갖는 평가의 주요내용
* 프로그램은 원래 계획대로 운영과 활동이 이루어지고 있는가?
* 프로그램의 인적ㆍ물적 자원은 계획대로 투입되고 있는가?
* 프로그램의 표적집단은 적절히 선정되었는가?
* 프로그램의 효과는 목표에 일치되어 나타나고 있는가?

 

- 형성평가의 목적
* 프로그램을 기술하고 설명하기 위해서
* 프로그램이 누구를 위해 행해지고 모니터링하기 위해서
* 프로그램 참가자들에게 제공되는 서비스의 질을 보장해 주기 위해서
- 이 평가는 면대면 인터뷰, 전화면담, 설문조사, 기록이나 진행노트, 참여관찰 등에 유용
- 프로그램 수행의 초기단계 또는 제공된 이후에도 이루어지는 프로그램의 발전을 위한 평가

 

2) 총괄평가
- 프로그램이 종료되는 시점이나 완전히 종결된 이후 프로그램의 성과와 영향을 파악하려는 목적으로
이루어지는 평가
- 총괄평가는 효과성 평가와 효율적 평가로 나누어짐

 

가. 효과성 평가
- 프로그램의 효과성 평가는 총괄평가의 핵심, 효과성 평가기준은 프로그램이 성취하려는 목적이나
목표가 어느 정도 이루어졌는지를 살피는 것
- 프로그램 계획가들이 프로그램 평가에 있어 효과성을 판단 기준으로 많이 사용
예) 알코올중독상담 프로그램을 통해서 얼마나 많은 대상자들이 알코올중독으로부터 벗어날 수
있었는가 등의 프로그램이 성취한 것들에 대한 측정을 기준으로 평가

 

* 사전검사(pre-testing) : 프로그램에 참가하기 이전의 상태를 측정
* 사후검사(post-testing) : 프로그램에 참가한 이후의 상태를 측정
* 추후검사(follow-up testing) : 프로그램 직후에 실시하는 사후검사에 그치지 않고 프로그램 종료 후
일정한 시간이 경과한 후의 상태를 측정, 프로그램의 효과가 지속되고 있는지를 살펴보는 것
* 실험집단ㆍ통제집단 : 가족생활교육 프로그램 참가자의 사전검사와 사후검사 결과를 비교하는 방법은
사전-사후검사의 결과가 통계적으로 의미 있게 차이가 있으면 그 차이가 프로그램에 참가했기
때문이라고 가정. 실험집단(experimental group)은 프로그램에 참가한 집단이고, 통제집단(control
group)은 프로그램에 참가하지 않은 집단. 일반적으로 실험집단과 통제집단을 사용하여 프로그램의
효과를 평가할 때는 동일한 조건을 가진 집단에서 무작위로 절반은 실험집단에, 나머지 절반은
통제집단에 할당하는 방식을 사용
* 사전검사와 사후검사, 실험집단과 통제집단을 활용한 효과성 평가 : 프로그램의 효과성을 평가하기
위해서는 사전검사와 사후검사, 실험집단과 통제집단을 모두 활용하는 것이 이상적임

 

▶ 사례) 양육스트레스 감소를 위한 한부모 교육프로그램의 평가과정(기쁘다 외, 2020)
Ÿ 제1단계 : 프로그램 참가희망자를 모집, 참가자 중 50%는 통제집단으로 나머지는 실험집단의
한부모가족 어머니
Ÿ 제2단계 : 실험집단과 통제집단 모두를 대상으로 사전검사를 실시(양육스트레스 척도 검사)
Ÿ 제3단계 : 실험집단과 통제집단의 사전검사 결과를 비교하여 두 집단의 동질성을 분석
Ÿ 제4단계 : 프로그램 8회기 실시, 실험집단은 8회기 프로그램에 참가하며 통제집단은 프로그램에
참가하지 않음
Ÿ 제5단계 : 8회기 종료 후 사후검사 실시, 사전검가에서 사용한 양육스트레스 척도를 그대로 사용하며
실험집단과 통제집단에게 사후검사를 실시하는 시점도 동일해야 함(사전검사와 사후검사 대조)
Ÿ 제6단계 : 실험집단의 사전검사와 사후검사 결과를 비교, 사전ㆍ사후 양육스트레스 검사가 통계적으로
감소하였으면 프로그램이 효과적이었을 가능성이 높다는 것
Ÿ 제7단계 : 실험집단과 통제집단의 사후검사 결과를 비교, 사전검사 비교에서 두 집단에서 의미 있는
차이가 발견되지 않았는데, 사후검사에서 실험집단의 양육스트레스 점수가 통제집단의 점수에 비해
의미 있게 낮다면 프로그램 참가로 변화가 나타났다고 해석, 프로그램이 양육스트레스를 감소시키는
데 효과적이었다고 결론내릴 수 있음

 

- 가족생활교육의 효과성 평가는 가족생활교육 프로그램이 의도한 목표를 달성했는지를 의미하며,
프로그램 성과 평가와 프로그램 영향평가로 나누어짐. 프로그램의 성과란 프로그램의 즉각적 혹은
단기적 효과이고 프로그램의 영향이란 프로그램의 장기적 효과를 의미

 

나. 효율적 평가
- 프로그램에 투입한 비용과 프로그램의 성과를 비교하여 경제성을 확인하는데 초점, 프로그램에 투입한
비용이란 돈, 시간, 에너지 등 다양함
- 효율적이면서도 효과적인 프로그램을 개발하기 위해서는 프로그램에 투입하는 자원의 양에 대해서도
신중하게 결정할 필요가 있음

[표3] 프로그램 평가 시 주요 내용

사전평가	- 프로그램 참여동기 - 프로그램 요구사항 - 개인적 특성(예 : 성별, 연령, 자존감, 스트레스 등 객관적 척도)
과정평가	- 프로그램 진행사항에 대한 평가(시간, 장소, 운영방식 등) - 프로그램 목적과 내용 일치 여부 - 교육방법의 적절성
총괄평가	- 프로그램의 목표달성 정도 - 참여자들의 변화 정도 - 프로그램운영의 효율성

* 출처 : 이성희 외(2018), 가족생활교육론, 창지사, p230.

 

1) 양적평가
- 양적평가는 프로그램 결과와 효율성을 결정하는데 매우 유용하며 결과를 비교하는 데 이용될 수 있는
방대한 양의 자료수집을 용이하게 해줌
- 행동변화를 객관적 측정방법을 사용하여 평가하며, 객관적인 척도를 이용하여 지도자와 참여자들에게
프로그램 내용과 구성을 포함한 운영 전반에 관한 사항을 평가하는 방법
- 이미 제작된 평가지를 가지고 조사한 뒤 얻어진 양적 자료를 통계 분석하여 프로그램 효과를 측정
- 표준화된 척도는 프로그램 참여자의 심리,정서 및 행동변화를 측정하는 데 있어 표준화된 검사도구를
활용하는 것으로 우울, 불안, 자아존중감, 관계만족도 등
- 만족도는 프로그램 전반에 대한 만족감을 측정, 프로그램 내용 및 운영방식, 프로그램 효과 등에 대한
만족 등으로 분류

 

2) 질적평가
- 질적평가는 관찰법, 면접법, 사례조사 등으로 이루어지며 양적평가로 알 수 없는 부분을 좀 더
구체적으로 평가하기 위해서 사용하는 방법
- 개방형 질문을 통해 자료를 수집하고 분석하는 평가방법, 참여자의 행동변화를 주관적으로 평가하는데 유용

 

3. 적합성 평가와 메타평가
1) 적합성 평가
- 개별 프로그램의 평가가 이루어지기 전에 그 프로그램의 가치를 판단하는데 의미를 두는 평가. 즉
프로그램이 추구하는 목표가 사회적 가치나 가족정책적 입장에서 바람직한가에 관한 여부를 검토하는
평가

 

2) 메타평가
- 이미 이루어진 프로그램 평가를 차후에 종합적으로 검토해보는 평가. 따라서 메타평가는 평가에 대한
평가로 적정성, 자료수집의 오류 여부 그리고 평가결과의 해석 타당성 등을 종합적으로 검토하는 것

 

4. 프로그램 평가와 기관평가
- 프로그램 평가와 기관평가의 분류는 평가의 대상이 프로그램 또는 사업인가 혹은 기관 또는
조직인가에 따라 구분됨
- 프로그램의 평가는 프로그램의 효과성, 효율성, 영향, 질, 참여자의 만족도에 주된 관심이 있는 반면,
기관평가는 기관의 설립이념과 설립목적에 따라 운영되고 있는가에 초점이 모아져 있음(이기숙, 2017)

 

5. 가족생활교육 프로그램 운영 평가
1) 프로그램 참가자 특성 평가
- 프로그램에 실제로 참가한 인원과 참가자의 특성을 파악하고 평가하는 것
- 프로그램 참가자가 총 몇 명이며 프로그램 설계단계에서 설정한 표적집단의 기준에 부합하는 사람들이
참가했는지, 제외된 집단은 없는지 등을 살펴봄
- 간단한 질문지를 사용하여 프로그램 참가자의 기본적인 사회인구학적 특성을 파악하고 수집한 자료를
분석함으로써 실시할 수 있음
- 질문지 조사는 무기명으로 실시하는 것이 일반적이며 응답내용의 비밀 보장
- 프로그램 참가자를 평가한 결과 참가자가 의도하지 않게 특정 집단에 치우쳐 있다면 다른 집단도
참가할 수 있도록 프로그램의 구성요소 중 일부를 수정하는 것이 좋음

 

2) 프로그램 내용 및 전달방법 평가
- 프로그램 내용 및 전달방법 평가는 프로그램의 전반적인 내용 및 전달방법 중 어떤 부분이 계획한
대로 잘 운영되었는지, 개선이 필요한 부분이 있는지 등을 분석하는 과정
- 프로그램 참가자를 통해 평가하는 방법과 프로그램을 실시한 주체를 통해 평가하는 방법이 있음
- 프로그램 내용 및 전달방법 평가는 참가자들이 질문지에 기입하는 방식을 사용할 수도 있고, 일대일
면접을 할 수도 있으며 포커스그룹 면접이나 소집단 토론 형식 사용할 수 있음
① 프로그램 내용 평가
- 전반적인 만족도 평가
- 긍정적으로 평가하는 부분과 부정적으로 평가하는 부분이나 개선이 필요한 부분 평가
- 해당 회기에 대한 평가와 프로그램 전체에 대한 평가로 구분

 

② 프로그램 전달방법 평가
- 프로그램 전달방법 평가는 다양한 측면에 적용
- 프로그램의 전체적인 전달방법, 프로그램의 길이, 프로그램 강사 혹은 진행자, 프로그램 중 실시한
개별활동(난이도, 만족도), 교육자료 및 기자재, 교육시간, 교육장소(접근성, 교통 및 주차, 정결도,
안전도, 크기, 자리배치), 신청절차, 기타(다과, 상품)등 매우 다양한 측면 평가

 

③ 참가자 모집 및 유지 평가
- 참가자 모집에 대한 평가란 참가자를 어떻게 모집하였는지, 각 모집방법의 장점과 단점은 무엇이며
어떤 방법이 가장 효과적이었는지 자료를 수집하고 평가하는 것
- 프로그램 참가자 유지에 대한 평가란 참가자들이 프로그램에 얼마나 꾸준히 참가하였는지,
중도탈락하지 않고 프로그램에 계속 참가할 수 있도록 어떠한 노력을 하였으며 각각의 장점과 단점은
무엇인지, 개선방안은 무엇인지를 평가하는 것