복지학과, 사회복지사 시험 등 가족생활교육 요점 정리 29. 가족생활교육 프로그램 평가의 이해

29. 가족생활교육 프로그램 평가의 이해

1. 프로그램 평가의 정의 및 의의
1) 프로그램 평가의 정의(지은구, 2007)
- 프로그램 평가(evaluation)란 정치적 사회ㆍ문화적 환경에 있는 사회프로그램의 결과, 기획 그리고
실행을 사정하기 위해서 평가자, 행정가 또는 실천가들이 사회과학적 조사방법을 사용하는 것
- 사회과학적 조사방법론을 사용해서 사회프로그램이 성취하려는 목적을 성취하였는지를 그 프로그램이
소속되어 있는 사회적 조건 하에서 체계적으로 조사ㆍ확인하는 것
- 계획대로 제공된 서비스가 해결되지 않은 욕구를 해결하는 데 충분한지 아닌지, 대상자들의 문제를
해결하는 데 실제적으로 도움이 되었는지를 결정하기 위한 조사방법과 기술의 모음
- 프로그램의 효과를 정확히 알고 개선점을 파악해서 더 나은 프로그램으로 발전시킬 수 있음
- 프로그램이 계속 진행되어야 하는지, 개선되어야 하는지, 확대되어야 하는지를 결정하기 위함
- 프로그램 관리와 행정의 효과성을 증가시키기 위함
- 프로그램 지원자들의 요구에 대한 책임성을 만족시키기 위해서 필요함

 

2) 가족생활교육 프로그램 평가의 의의
- 가족생활교육에서 프로그램 평가란 프로그램 수정, 효과성을 증진하고 프로그램과 관련된 의사결정
등을 참고할 수 있는 다양한 정보를 체계적으로 수집, 분석하는 과정
- 가족생활교육자가 프로그램에 대해 더 잘 알아가는 과정이며, 가족생활교육 프로그램의 질적 향상을
위해 매우 중요한 교육적 과정(기쁘다, 2020 ; 정현숙, 2019)

 

2. 프로그램 평가의 목적과 표준화된 측정도구

 

1) 프로그램 평가의 목적
- 프로그램의 관리능력을 향상시키고, 프로그램의 자원을 조정하고 개발하는 데 영향을 줌
- 평가는 어떤 프로그램이나 계획 혹은 자료의 가치와 장점을 체계적으로 분석하는 것
- 프로그램의 목표달성 확인
- 프로그램 진행상의 문제점 발견
- 프로그램 기술 및 개발에 필요한 정보제공

- 가족생활교육에서도 프로그램 평가를 통해 대상자들에게 효과적인 변화가 나타났는지를 알 수 있음
* 가족생활교육 프로그램이 계획대로 잘 진행되었는지의 결과뿐 아니라 과정 전반을 확인할 수 있고,
이 과정에서 문제점이 발견되면 무엇을 개선할 것인지의 원인과 교육방법을 모색하는데 도움

 

(1) 정무송과 정진모(2001)의 평가의 목적 4가지
- 첫째, 프로그램 기획에 피드백을 제공하여 프로그램의 향상을 도모하기 위하여
- 둘째, 프로그램 실행의 타당성을 제공하기 위하여
- 셋째, 재정지원 기관의 조건을 만족시켰는지 확인하기 위하여
- 넷째, 프로그램의 마케팅을 위한 자료로 사용하기 위하여

 

* 궁극적으로 프로그램 평가는 어떤 서비스가 제공되어야 하는지를 결정하는 사람들에게 또는
프로그램의 변화를 수행 할 수 있는 사람들에게 프로그램의 행동들과 성과로부터의 피드백을 제공하는
것에 의해서 서비스의 질에 기여
* 피드백이 없이는 프로그램이 효과적으로 전달되는 것이 불가능하기 때문에 피드백은 프로그램의
성공에 결정적인 역할을 담당(Posavac & Carry, 2003 : 지은구, 2007)

 

2) 표준화된 측정도구(박경아 외, 2020)
- 표준화된 측정도구는 정확하며 신뢰성이 높음
- 표준화된 측정도구는 개입 전과 후의 검증으로 사용
- 특징
* 구조화된 질문으로 구성 : 대상자의 상태, 행동, 감정, 개인 내적 기능, 인성발달 등
* 점수화에 있어서 동일한 절차, 크기, 강도, 측정영역의 정도 등을 예측하는 유용한 단일의 점수화
가능

 

- 측정도구의 선택방법
* 측정도구의 자체개발
* 공인된 한국기관에서 개발한 도구를 유료구입
* 관련 한국논문에서 사용했던 도구들의 재사용
* 관련 외국논문에서 사용했던 도구들의 번안사용
* 평가도구 자료집을 통한 선별

 

- 사회복지척도집(2007)에서의 척도사용 시 고려할 점
* 알고자 하는 개념에 대한 조작적 정의를 명확히 알아야 함
* 대상층이 누구인지를 확인해야 함
* 원척도를 훼손하지 않아야 함 : 원척도의 문항을 삭제 수정 금함

- 미국 공동모금회(UWA)의 프로그램 성과측정을 위한 4단계 평가모델 : 투입, 활동, 산출, 성과

 

[표1] UWA의 성과측정모델

투입 (Inputs)	활동 (Activities)	산출 (Outputs)	성과 (Outcomes)
프로그램에 투입, 사용된 자원들	프로그램 목적 수행을 위한 활동	활동결과에 따른 직접 산출물	프로그램 참여 중 또는 참여 결과 변화
Ÿ 예산 Ÿ 직원, 투입시간 Ÿ 자원봉사자, 투입시간 Ÿ 시설, 설비	Ÿ 노숙인에 급식, 쉼터 제공 Ÿ 직업훈련 실시 Ÿ 아동학대 이해 관련 시민교육 Ÿ 임산부 상담 Ÿ 청소년 상담지도	Ÿ 교육횟수 Ÿ 상담실시 횟수 Ÿ 배포된 교육자료 수 Ÿ 서비스 전달시간 Ÿ 지원대상자 수	Ÿ 새로운 지식 Ÿ 향상된 기술 Ÿ 태도 및 가치변화 ê Ÿ 행동수정 ê Ÿ 상황개선 Ÿ 사회적 지위 변화 등
[제약조건] - 관련법률 - 규제 - 기부자, 자원기관의 요구

* 출처 : 박경아 외(2020), p.115

[표2] UWA의 성공적인 성과측정을 위한 8단계 시행방안

시행단계	시행목표	주요내용
1단계	준비	Ÿ 성과측정 실행팀 구성 Ÿ 성과측정 대상 프로그램 결정 Ÿ 일정표 작성 및 프로그램 관련 주요 이해당사자에 계획 설명
2단계	측정대상 성과목표 선택	Ÿ 다양한 자원 중 프로그램 성과 목표산정 아이디어 수집 Ÿ 측정대상 성과목표 산정
3단계	성과측정을 위한 척도개발	Ÿ 각각의 성과목표에 대한 구체적 척도 선정 Ÿ 프로그램 대상별 주요 영향요인 결정
4단계	척도를 위한 자료수집 준비	Ÿ 평가척도의 자료출처 확인 Ÿ 자료수집 방법 결정 Ÿ 자료수집 절차 및 방법에 대한 사전점검
5단계	성과측정시스템 시범실시	Ÿ 시범실시전략 개발 Ÿ 자료수집 준비 Ÿ 성과측정 및 자료수집 Ÿ 성과측정과정 모니터링
6단계	시범실시 결과분석 및 정리	Ÿ 자료입력 및 오류수정 Ÿ 일람표 작성 Ÿ 주요 요소별 자료분석 Ÿ 측정된 성과 관련 정보제공 Ÿ 간결하고 이해할 수 있는 자료 설명
7단계	성과측정시스템 개선	Ÿ 시범실시 내용 점검 및 전면적 시행 Ÿ 정기적인 성과측정시스템 점검
8단계	Ÿ 정기적인 성과측정시스템 점검	Ÿ 측정결과 자료의 내부 및 외부 활용

 

3) 프로그램 평가의 이론적 모형
- 프로그램 평가에 관한 이론과 접근방법은 일반적으로 목표달성 평가모형, 가치판단 모형, 의사결정
모형 그리고 논리모형 등이 있음(이기숙, 2017)

 

(1) 목표달성 평가모형
- 목표달성 평가모형은 가장 고전적인 평가모형으로, 설정된 프로그램 목표와 참여자들의 실제 성취
수준을 비교하는데 초점을 두는 평가모형

 

(2) 가치판단 모형
- 가치판단 모형에서는 평가를 본질적으로 전문적 지식과 기술을 바탕으로 하여 평가하고자 하는 대상
또는 내용의 가치를 체계적으로 판단하는 활동이라고 보는 입장

 

(3) 의사결정 모형
- 의사결정 모형에서는 평가의 의미를 의사결정자에게 필요한 정보를 제공하여 의사결정을 돕는
과정이라고 봄
- 의사결정 모형으로 가장 잘 알려진 것은 CIPP모형. CIPP는 상황평가(context evaluation),
투입평가(input evaluation), 과정평가(process evaluation), 산출평가(product evaluation)의 머리글자를
딴 것임

① 상황평가는 프로그램 목표를 결정하는 상황과 이론적 근거를 검토ㆍ평가하는 것. 프로그램을 둘러싼
외부 환경, 문제, 욕구, 기회를 확인하는 데 필요한 경험적 자료를 수집하는 데 사용되며, 기획과
의사결정에 필요한 정보를 제공
② 투입평가는 목표달성에 필요한 자원과 절차에 관한 정보를 제공. 목표 달성까지의 절차를 설계하는
구조적 의사결정에 필요. 투입물은 프로그램의 서비스, 직원, 클라이언트의 적합성을 결정하기 위해
필요한 요소들
③ 과정평가는 프로그램 목표달성을 위한 제반 활동의 효율성에 관한 정보를 제공. 프로그램의 절차,
전략, 방법에 관한 집행의 의사결정에 필요한 정보를 얻을 수 있음
④ 산출평가는 프로그램이 성취한 결과를 측정하여 평가하는 것으로 목표달성 평가모델과 동일.
프로그램이 얼마나 잘 작동하였는가? 프로그램의 목적이 기대된 수준에서 성취되었는가? 프로그램이
대상자들의 변화에 원인이 되었는가?

 

(4) 논리 모형
- 논리모형은 프로그램 개발 과정에서 체계이론의 개념을 적용하여 투입-과정-산출-성과들 간의 관계를
논리적으로 설명하는 도식을 활용함으로써 프로그램의 성과를 체계적으로 평가하는 모형

 

[그림] 논리 모형의 도식